【大模型部署】零成本体验私有化部署llama3.1

最新推荐文章于 2024-10-11 19:43:49 发布
最新推荐文章于 2024-10-11 19:43:49 发布
阅读量808 收藏 11
点赞数 28
文章标签： transformer prompt 大模型 langchain LLM ai大模型 RAG
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pythonhy/article/details/141643707
版权

在这里插入图片描述

这篇文章主要介绍在自己本地gpu性能不足或者没有gpu的时候，如何部署体验llama3.1。

解决方案：

采用腾讯cloud Studio免费算力，结合ollama工具私有化部署llama3.1-8b 模型

  1. 注册腾讯Cloud studio，注册网址https://cloud.tencent.com/product/cloudstudio

在这里插入图片描述

  1. 登录之后，如果需要进行实名，就完成实名认证。

在这里插入图片描述

  1. 目前每个月有1800分钟的免费基础算力，可以用来部署大模型

在这里插入图片描述

在这里插入图片描述

  1. 创建的时候应用模板选择ollama

在这里插入图片描述

  1. 创建完成点击实例进入开发环境

在这里插入图片描述
在这里插入图片描述

  1. 点击终端->新建终端

在这里插入图片描述

  1. 在命令行中输入以下命令
ollama run llama3.1

在这里插入图片描述

在这里插入图片描述

  1. 等待命令执行完毕，出现下面这个页面就说明安装成功，现在就可以进行对话了。

在这里插入图片描述

  1. 测试效果

在这里插入图片描述

总结:

  • cloud studio 注册完成之后可能需要进行实名认证，这个点击进行实名认证就可以，如果不想认证，直接叉掉就可以了。
  • 命令默认加载下载运行的是8b的模型，如果想运行其他参数的模型，可以在ollama官网查看指令（ollama官网模型链接：https://ollama.com/library），但是参数过大，可能这个免费的平台可能也运行不了。
  • 同意的这个平台也可以部署其他的小参数大模型。
  • 目前测试，部署的8b的模型，回答速度还是很流畅的。
  • 9 5 2 7 24点的游戏，在llama3.1-8b的模型下回答失败。

程序员为什么要学大模型？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

Llama-Turbo
关注
使用LlamaIndex结合本地模型的入门教程
步子哥的博客
08-11 716
在本教程中，我们将使用保罗·格雷厄姆（Paul Graham）的文章《我在做什么》（“What I Worked On”）的文本。这篇文章以及其他许多示例可以在我们的代码库的示例文件夹中找到。Ollama是一个可以帮助您在本地设置LLM（大型语言模型）的工具，目前支持OSX和Linux平台（在Windows上可以通过WSL 2安装）。利用这一框架，您可以轻松地扩展和自定义您的生成AI应用，探索更多功能。文件夹中的文档（在本例中仅包含文章文本，但可以包含多个文档）构建一个索引。
Llama模型家族之拒绝抽样(Rejection Sampling)（八）代码实现
段智华的博客
06-08 285
Llama模型家族之拒绝抽样(Rejection Sampling)（八）代码实现
最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）
Y525698136的博客
08-07 828
最强开源大模型炸场！全网独一份AI大模型学习实践资源...（待会删）
使用Ollama本地部署Llama 3.1大模型
2401_85375298的博客
09-17 1572
Llama 3.1 介绍2024 年 7 月 24 日，Meta 宣布推出迄今为止最强大的开源模型——Llama 3.1 405B，Llama 3.1 405B 支持上下文长度为 128K Tokens， 增加了对八种语言的支持，号称第一个在常识、可操纵性、数学、工具使用和多语言翻译方面与顶级人工智能模型相媲美的模型。当然 405B 新一代大模型所需要的算力成本也是巨大的，一般的中小型企业和个人需要慎重评估一下成本与产出是否值得应用。
2023大模型安全解决方案白皮书
12-06 692
在当今迅速发展的数字化时代，人工智能技术正引领着科技创新的浪潮而其中的大模型技术则被视为人工智能的一大突破。大模型是指参数量巨大能力强大的人工神经网络模型，以其卓越的表现在自然语言处理、计算机视觉、语音识别等领域赢得了持续的关注和青睐。这些模型的出现，不仅在学术界引起了研究者们的广泛兴趣，也在商业应用领域带来了一系列创新和变革大模型技术的崛起，首要得益于深度学习的发展以及硬件计算能力的提升。深度学...
LlamaIndex中的CustomLLM（本地加载模型）
NLP工程化
01-14 2063
LlamaIndex 中接口基本上调用的是 OpenAI，如果想想调用自定义模型可以吗？答案当然是可以的。经过查找找到了自定义大语言模型的简单抽象基类 class CustomLLM(LLM)。
【大模型微调】一文掌握7种大模型微调的方法
热门推荐
python123456_的博客
05-16 1万+
本篇文章深入分析了大型模型微调的基本理念和多样化技术，细致介绍了LoRA、适配器调整(Adapter Tuning)、前缀调整(Prefix Tuning)等多个微调方法。详细讨论了每一种策略的基本原则、主要优点以及适宜应用场景，使得读者可以依据特定的应用要求和计算资源限制，挑选最适合的微调方案。大型语言模型(LLM)的训练过程通常分为两大阶段：阶段一：预训练阶段在这个阶段，大型模型会在大规模的无标签数据集上接受训练，目标是使模型掌握语言的统计特征和基础知识。
基于大模型LLama2+Langchain构建知识库问答系统
最新发布
space01的专栏
10-11 401
知识库需求在各行各业中普遍存在，例如制造业中历史故障知识库、游戏社区平台的内容知识库、电商的商品推荐知识库和医疗健康领域的挂号推荐知识库系统等。传统知识库搜索系统基于关键字匹配，缺少对用户问题理解和答案二次处理能力。为保证推荐系统的实效性和准确性，需要大量的数据/算法/软件工程师的人力投入和包括硬件在内的物力投入。其次，为了进一步提高搜索准确率，如何引导用户搜索描述更加准确和充分利用用户行为优化搜索引擎也是常见的用户痛点。此外，如何根据企业知识库直接给出用户提问的答案也是众多企业中会遇见的技术瓶颈。
AIGC生成式代码——Code Llama 简介、部署、测试、应用、本地化
zero
09-21 8372
2023年08月25日(北京时间)，Meta发布了Code Llama，一个可以使用文本提示生成代码的大型语言模型（LLM)。Code Llama是最先进的公开可用的LLM代码任务，并有潜力使工作流程更快，为当前的开发人员和降低进入门槛的人正在学习代码。Code Llama有潜力作为一种生产力和教育工具来帮助程序员编写更健壮、文档更完善的软件。Code Llama在Llama 2的基础上增强了编码能力。它可以从代码和自然语言提示(例如，“给我写一个输出斐波那契数列的函数。
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[1]-最新版快速实践并部署（检索增强生成RAG大模型）
丨汀、的博客
05-06 1269
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[1]-最新版快速实践并部署（检索增强生成RAG大模型）
【AI大模型企业级应用开发实战】企业级应用集成AI大模型的架构，包括大模型概述、集成实践、技术架构设计及应用场景《AI大模型应用架构（ALLMA）白皮书》
AI天才研究院
06-30 9720
随着大模型浪潮的兴起，生产力将发生质的变化，从而引发生产力和生产关系的重塑。随着模型能力的提升和使用成本的降低，基于大模型构建应用将成为主流趋势。然而，应用层能否与大模型高效交互，将成为产品方案探索效率和效果的关键因素。因此，在模型之上的工程架构中，必须构建一套完整的大模型交互管道（Interface），将应用层（Application） 和模型层（Model）进行串联，为诸如Prompt Engineering、Fine-Tuning和模型评估等关键环节提供全面支持，以实现产品方案探索的降本增效 ....
LlamaIndex中的CustomLLM（在线加载模型）
NLP工程化
01-14 1114
上述代码在加载 Embedding 模型的时候还是从本地加载的，这部分也是可通过 REST 接口方式调用的。基本思路：继承 BaseEmbedding 类，将加载 Embedding 模型部分封装为 REST 接口。可重点参考下 OpenAIEmbedding 类的实现。
中国信通院重磅推荐！《具身智能大模型发展报告（2024年）》发布，54页pdf
2401_84205765的博客
09-03 487
具身智能是人工智能（AI）与其他学科交叉融合发展的智能新范式，从字面可理解为“具身+智能”，通过赋予AI“身体”，能够与现实产生交互，让AI从仅存于数字世界的软件算法走向真实的物理世界，并在物理世界也能呈现模拟人类甚至超越人类的智能水平。中国信息通信研究院、北京人形机器人创新中心有限公司联合发布了《具身智能发展报告（2024年）》报告。
2024年AI大模型应用发展研究报告｜附58页PDF文件下载
qq_46094651的博客
10-04 180
本报告对云服务商与电信运营商在此背景下的竞合展开研究，旨在发挥二者的技术、产品、应用优势，提出“1+3+N”合作体系：联合打造1个适合A1大模型培育的算力集群；从市场格局来看，海外企业占据大模型先发优势，几大巨头科技企业及个别人工智能企业已经完成几轮A1大模型迭代，性能不断提升；国内AI大模型建设方“百花齐放”，依托技术优势及业务经验，在构建通用大模型的同时，打造具备企业业务特色、行业特色的专用AI大模型，并在AI大模型开源领域积极贡献。多产业角色入局带来了竞争，同时也带来了协同合作的机会。
Llamaindex实战-本地大模型(llama2-chinese)安装和使用
weixin_48731381的博客
06-23 1059
通过ollama来安装llama相关的模型非常方便，也很容易对各个模型进行管理。本文介绍如何通过ollama来安装llama2-chinese模型，或则llama相关的其他模型。
2024年中国AI大模型场景探索及产业应用调研报告【附PDF下载】
bugyinyin的博客
09-10 493
AI大模型是指在机器学习和深度学习领域中，采用大规模参数（至少在一亿个参数以上）的神经网络模型，AI大模型在训练过程中需要依赖大量的算力和高质量的数据资源。2024年，AI大模型的行业应用与技术发展正有效提升千行百业生产要素的产出效率，并相应提高了数据要素在生产要素组合中的地位。基于此，深圳前瞻产业研究院、首钢基金CANPLUS联合华为云，共同撰写了《2024年中国AI大模型场景探索及产业应用调研报告——大模型“引爆”行业新一轮变革》（以下简称《研究报告》）。
LlamaIndex对接本地模型
顺其自然~专栏
09-27 99
确保您已先按照自定义安装步骤操作。这是一个著名的“五行代码”起步示例，使用本地 LLM（大语言模型，用于内容生成）和嵌入模型（用于将上传文本生成词向量，与用户提问生成的词向量进行匹配，组合成提示词，发给大语言模型）。我们将使用 BAAI/bge-small-en-v1.5 作为嵌入模型，通过 Ollama 服务的 Mistral-7B 作为 LLM。
TensorFlow相关组件的安装
AAI666666的博客
01-11 1275
TensorFlow相关组件的安装
使用LLaMA-Factory来实现微调ChatGLM-3B
m0_74972544的博客
04-29 1104
本文详细的介绍了使用LLaMa-Factory来对ChatGLM3-6B进行微调
OpenVINO实现LLaMa3模型的本地化部署指南
资源摘要信息: 本文档提供了关于如何使用OpenVINO工具套件本地化部署大型语言模型LLaMa3的详细指导。OpenVINO（Open Visual Inference & Neural Network Optimization）是英特尔推出的优化工具套件，主要用于将深度...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值