大模型入门系列（二）大模型的安装部署——Chatglm3安装

于 2024-09-16 11:30:00 发布
阅读量881 收藏 9
点赞数 11
文章标签： 人工智能 大模型 AI大模型 AI 大模型入门 大模型开发 大模型部署
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/star_nwe/article/details/142220042
版权

一、 Chatglm3安装

ChatGLM3是智谱AI和清华大学KEG实验室联合发布的新一代对话预训练模型。ChatGLM3-6B是ChatGLM3系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性:

1. 更强大的基础模型: ChatGLM3-6B的基础模型 ChatGLM3-6B-Base采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base具有在10B 以下的基础模型中最强的性能。

2. 更完整的功能支持: ChatGLM3-6B采用了全新设计的 Prompt格式，除正常的多轮对话外，同时原生支持工具调用、代码执行和 Agent 任务等复杂场景。

3. 更全面的开源序列: 除了对话模型ChatGLM3-6B外，还开源了基础模型 ChatGLM3-6B-Base、长文本对话模型 ChatGLM3-6B.32K。

ChatGLM3-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，60 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

1.1安装环境

  1. NVIDIA GeForce RTX 3090 显卡（安装CUDA Version: 12.3）
  2. 硬盘1T
  3. Cpu16核
  4. 内存32g
  5. Ubuntu 22.04.3

1.2依赖下载

  1. 在https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 下载Anaconda3-5.0.0-Linux-x86_64.sh

  2. 从魔塔社区下载chatglm3
    https://www.modelscope.cn/models/ZhipuAI/chatglm3-6b/files 模型文件

  3. 从github 下载chatglm3程序
    https://github.com/THUDM/ChatGLM3/

1.3安装步骤

  1. 执行./Miniconda3-latest-Linux-x86_64.sh 安装conda

  2. 安装完成后创建chatglm环境：
    conda create -n chatglm3 python=3.11

  3. 进入chatglm3程序目录：
    cd /home/secisland/sunzy/chatglm0604/ChatGLM3

  4. 切换到chatglm3 环境:
    conda activate chatglm3

  5. 安装依赖:
    pip install -r requirements.txt

  6. 到模型执行目录:
    cd basic_demo/

  7. 修改模型参数位置:
    vi cli_demo.py

将红圈部分调整为实际在魔塔社区下载的模型位置如下：

执行python cli_demo.py 测试模型，模型运行成功如下：

二、如何学习大模型？

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。
在这里插入图片描述

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

在这里插入图片描述

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

在这里插入图片描述

4. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

在这里插入图片描述

5. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

在这里插入图片描述

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】


如有侵权，请联系删除

AI老猴子
关注
LLM 入门与实践（二）ChatGLM3 部署与分析
人工智能技术学习与分享
05-20 1318
本文介绍了国内大模型开源界的先驱ChatGLM，其提供了多种开源大模型和工具调用功能。文章详细介绍了ChatGLM的发展历史、模型结构、prompt分析、显存分析等内容。ChatGLM是由北京智谱华章科技有限公司开发的基于GLM的对话模型，目前已发展到v4版本，其中v3版本已开源。文章还介绍了如何在本地部署ChatGLM3-6B模型，包括环境配置和操作步骤。
大模型系列——解读RAG
2301_81940605的博客
05-28 1301
RAG 是2023年最流行的基于 LLM 的应用系统架构。有许多产品几乎完全建立在 RAG 之上，覆盖了结合网络搜索引擎和 LLM 的问答服务，到成千上万个数据聊天的应用程序。
本地部署知识库——大模型框架xinference的本地架设
lxszyj的博客
06-27 2913
断断续续也研究了1个来月了，期间还遭遇了docker被ban的惨剧，导致我一个新手要开始学习这种繁琐的本地开发步骤，目前还未感受到这样做的优点，但是看很多技术大佬都是这样做的，相信有它的道理吧。这一系列陆续会涉及以下内容：1.大模型框架xinference的本地架设2.知识库管理软件fastgpt、dify、maxkb、langchain chatchat、ragflow的架设和使用3.各类大模型的尝试（主要是笔记本性能有限，只能不断尝试最适合自己的）
大模型学习路线（1）——大模型基座 & 大模型部署
2401_85378759的博客
07-27 690
LLM基座官方文档如下（科学上网）：ChatGLMBaichuanQwen提示：以下是本篇文章正文内容，下面案例可供参考章节一引用《大模型升级与设计之道：ChatGLM、LLAMA、Baichuan及LLM结构解析》一文，该文章从原理、性能、差异、迭代版本系统地介绍了现在较受欢迎的LLM（目前ChatGLM4、Baichuan3已闭源）。章节二以Llama2举例，演示了从部署环境查询、到模型部署、再到微调、最后到LangChain外挂知识库实现向量检索增强（RAG）的流程。
LLMs之Llama3：Llama-3的简介、安装和使用方法、案例应用之详细攻略
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-20 3万+
​ LLMs之Llama 3：Llama 3的简介、安装和使用方法、案例应用之详细攻略 目录 Llama 3的简介 Llama 3的安装和使用方法 Llama 3的案例应用 Llama 3的简介 2024年4月18日，Meta 重磅推出了Meta Llama 3，Llama 3是Meta最先进开源大型语言模型的下一代，包括具有80亿和700亿参数的预训练和指令微调的语言模型，能够支持广泛的应用场景。这一代Llama在一系列行业标准基准测试中展示了最
Mac本地部署大模型体验AIGC能力
m0_63171455的博客
07-14 820
仅基于Transformer解码器的大模型（图中的蓝色部分），例如，OpenAI的GPT系列、Meta的LLaMa、Google的PaLM等；仅基于Transformer编码器的大模型（图中的粉丝部分），例如，Google的BERT、Meta的RoBERTa等；同时基于Transformer编码器和解码器的大模型（图中的绿色部分），例如，Meta的BART、Google的T5、清华大学的GLM/ChatGLM等。
大模型扫盲系列——大模型实用技术介绍_大模型底层技术是哪些
2401_85773741的博客
06-24 847
从公式知，输入是正的，则直接输出该值；如果输入是负的，则输出0。ReLU因其简单性和效率在深度学习中非常流行。它有助于解决梯度消失问题，加速了神经网络的收敛，并且计算简单。
LLM大模型入门（五）—— 基于peft微调ChatGLM模型
瓦罗兰特顶级C位的博客
07-09 567
ChatGLM 是基于架构，针对中文问答和对话进行了优化。经过中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术，ChatGLM因为是中文大模型，在中文任务的表现要优于LLaMa，我在一些实体抽取的任务中微调ChatGLM-6B，都取得了很不错的效果。在微调ChatGLM之前，先简单地了解下它的基础模型GLM，GLM也是基于transformer架构的，在训练任务上构造了自回归的空格填充任务，具体的训练流程如下图所示：a) 随机抽取句子中的一些片段。
LLM 教程 —— 如何部署和推理大语言模型
2401_85963303的博客
07-24 1185
完成本教程后，您将深入了解如何在生产环境中通过各种工具和平台部署和应用大型语言模型，并能将所学知识应用于自己的项目和挑战中。
SMP 2023 ChatGLM金融大模型挑战赛 60 分baseline思路介绍.zip
03-14
4. **大模型入门**：对于初学者，这个比赛提供了一个学习和理解大型预训练模型如何工作的机会，包括模型的训练、调优和应用。 5. **大模型实例**：参赛者将有机会实践大模型的实际应用，了解如何将其应用于解决实际...
『大模型笔记』《Pytorch实用教程》（第二版）
AI新视界
07-07 331
时隔5年，历时4年，耗时2年的《Pytorch实用教程》第二版完成了。在第一版的精华之上，增加了丰富详实的深度学习应用案例和推理部署框架，使本书更系统性的涵盖深度学习工程师所涉及的知识面。如人工智能技术发展一浪接一浪，《Pytorch实用教程》第二版不是结束，而是开始，开启新的技术、新的领域、新的篇章，希望未来能继续与大家一起在人工智能技术里学习、进步。
【人工智能】国产开源大模型 baichuan-7B 百川聊天 BaiChat 快速开始上手实战&效果实测 —— 希望 baichuan-7B 再打磨打磨吧
程序员光剑
06-16 1万+
baichuan-7B 是由百川智能开发的一个开源可商用的大规模预训练语言模型。基于 Transformer 结构，在大约1.2万亿 tokens 上训练的70亿参数模型，支持中英双语，上下文窗口长度为4096。在标准的中文和英文权威 benchmark（C-EVAL/MMLU）上均取得同尺寸最好的效果。
【AI大模型企业级应用开发实战】企业级应用集成AI大模型的架构，包括大模型概述、集成实践、技术架构设计及应用场景《AI大模型应用架构（ALLMA）白皮书》
程序员光剑
06-30 9216
随着大模型浪潮的兴起，生产力将发生质的变化，从而引发生产力和生产关系的重塑。随着模型能力的提升和使用成本的降低，基于大模型构建应用将成为主流趋势。然而，应用层能否与大模型高效交互，将成为产品方案探索效率和效果的关键因素。因此，在模型之上的工程架构中，必须构建一套完整的大模型交互管道（Interface），将应用层（Application） 和模型层（Model）进行串联，为诸如Prompt Engineering、Fine-Tuning和模型评估等关键环节提供全面支持，以实现产品方案探索的降本增效 ....
【AI大模型】Kimi API大模型接口实现
最新发布
qq_25888559的博客
09-15 721
Kimi智能助手在效率（免费榜）排名从2024年1月14日的第436名提升至3月19日的第11名。而尚未上线的GPT-4.5 Turbo上下文窗口指定为25.6万个token，能同时处理约20万个单词，Kimi升级后，长文本能力为其10倍。在2023年10月初次亮相时，该模型的处理能力还仅有约20万汉字。2024年3月18日，月之暗面宣布Kimi智能助手启动200万字无损上下文内测。
生成式人工智能在新加坡的发展现状和地位
wukangjupingbb的博客
09-11 1088
依据国际隐私专业人员协会(IAPP)的相关报告，2020年，上述两机构更新了该模型框架，发布了第二版，并推出了《组织实施和自我评估指南》，帮助组织评估其人工智能治理实践与型框架的匹配程度，还发布了《案例汇编》，展示了组织如何实施负责任的人工智能治理实践。2019年，金融管理局宣布与金融行业合作创建Veritas框架，为金融机构提供可验证的方法，将FEAT原则纳入其人工智能和数据分析驱动的解决方案中。新加坡在人工智能治理方面采取了部门性的方法，即通过各个行业的监管机构来管理人工智能的使用。
从AI到大数据，数字技术服务平台全栈赋能企业升级
smjt2024的博客
09-11 638
海量的数据中蕴含着丰富的信息和价值，数字技术服务平台能够收集、整理和分析这些数据，为企业提供精准的市场洞察和决策支持。企业可以通过参加树莓集团举办的培训课程和研讨会，了解最新的数字技术趋势和应用案例，提升自身的数字技术水平。从技术咨询、解决方案设计到系统实施和运维，数字技术服务平台为企业提供一站式的服务，让企业无需担心技术难题，专注于自身的核心业务。树莓集团的数字技术服务平台，以其先进的技术、专业的服务和丰富的经验，为企业提供了全栈赋能。在数字时代，让我们共同利用数字技术服务平台，开启企业升级的新篇章。
Djourney新手入门基础，AI摄影+AI设计+AI绘画-AIGC作图
DAMOXINGHAITAI的博客
09-14 895
（全套教程文末领取哈）从大模型系统设计入手，讲解大模型的主要方法；在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；以SD多模态大模型为主，搭建了文生图小程序案例；以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
常见本地大模型个人知识库工具部署、微调及对比选型
09-14 837
由于作者的眼界、精力和能力也有限，并且确实也不是专业的AI研究员，仅仅是一位兴趣使然的爱好者，这里列出的几款也单纯只是作者平常关注到的，所以可能也不全，请各位见谅！文章从起笔写到这里已经过了三天了，这三天也基本把上文提到的大模型侧工具全部体验了一遍，下面说一下主要结论吧。从功能丰富度和性能优化的角度综合评估，LM Studio明显更胜一筹。从工具本身使用及模型部署效率来看，Ollama的上手速度会更快，使用会更便捷，效率也会更高。从企业级稳定性和高可用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值