智谱AI通用大模型：本地部署ChatGLM3-6B开源大模型

已于 2024-06-28 08:53:32 修改
阅读量5.3k 收藏 47
点赞数 32
分类专栏： 大模型 文章标签： 人工智能 chatglm 智谱AI 大模型
于 2024-04-23 17:16:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37559973/article/details/138111428
版权

目录

一、ChatGLM3介绍

二、环境配置和检查

2.1 操作系统

2.2 硬件环境

2.3 软件环境

三、本地源码部署

3.1 克隆源码

3.2 下载模型文件

3.3 安装依赖

3.4 代码调用

四、运行Demo

4.1 设置本地模型环境变量

4.2 Gradio 网页版 Demo

4.3 Streamlit  网页版 Demo

4.4 命令行交互Demo

一、ChatGLM3介绍

        ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。

开源模型序列

模型

介绍

代码链接

模型下载

ChatGLM3-6B

 第三代 ChatGLM 对话模型。ChatGLM3-6B 采用了全新设计的 Prompt 格式，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码执行（Code Interpreter）和 Agent 任务等复杂场景。 ChatGLM3

Huggingface

魔搭社区 

ChatGLM3-6B-base

 第三代ChatGLM基座模型。ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能。

Huggingface

 

魔搭社区

ChatGLM3-6B-32k

 第三代ChatGLM长上下文对话模型。在ChatGLM3-6B的基础上进一步强化了对于长文本的理解能力，能够更好的处理最多32K长度的上下文。

Huggingface

魔搭社区

ChatGLM3-6B-128k

 ChatGLM3-6B-128K在ChatGLM3-6B的基础上进一步强化了对于长文本的理解能力，能够更好的处理最多128K长度的上下文。具体地，我们对位置编码进行了更新，并设计了更有针对性的长文本训练方法，在对话阶段使用 128K 的上下文长度训练。在实际的使用中，如果您面临的上下文长度基本在 8K 以内，我们推荐使
最低0.47元/天 解锁文章
ChatGLM-6B中英双语对话大模型Windows本地部署实战
L
10-19 469
ChatGLM是智谱清言大模型的开源版本，目前有ChartGLM、ChatGLM2、ChatGLM3和GLM-4版本。ChatGLM：GitHub - THUDM/ChatGLM-6B: ChatGLM-6B: An Open Bilingual Dialogue Language Model | 开源双语对话语言模型简介：中文领域效果最好的开源底座模型之一，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持。
【ChatGLM】基于 ChatGLM-6B + langchain 实现本地化知识库检索与智能答案生成: 中文 LangChain 项目的实现开源工作
热门推荐
AI天才研究院
05-21 6万+
陈光剑简介：著有《ClickHouse入门、实战与进阶》（即将上架）《Kotlin 极简教程》《Spring Boot开发实战》《Kotlin从入门到进阶实战》等技术书籍。资深程序员、大数据与后端技术专家、架构师，拥有超过10年的技术研发和管理经验。现就职于字节跳动，曾就职于阿里巴巴，主要从事企业智能数字化经营管理、电商智能数字化运营等系统架构设计和研发工作。在大数据和企业级系统架构领域有非常深厚的积累，擅长大数据系统架构和分布式系统架构设计开发。
大模型ChatGLM3-6B本地部署
Rys_Ben_Blogs
02-13 1024
大语言模型（ChatGLM3-6B）的本地部署记录。
目前有什么可以本地部署的大模型推荐（附教程）
最新发布
2401_84206094的博客
03-22 1062
目前大模型的落地场景主要是如写作助⼿、聊天机器⼈、语⾳识别这几块。而目前更重点的是，除了卷模型的智能指标，大家发现大模型能够处理的文本长度同样重要。甚至可以说，处理文本的长度是大模型落地的一个相当重要的指标。因此纵观国内各类大模型，综合对比，来自的⼤模型开发平台的大模型尤为突出，比如GLM-4-Long长文本模型，拥有更强的基础能力和更长的上下文处理能力，能够更加精准函数调用和 All Tools 能力，并大幅提升了。
本地部署chatGLM3-6b教程
weixin_42118737的博客
05-09 2384
之前一直用的chatGLM2，将FastGPT本地化跑通后，现在试试将chatGLM2升级为chatGLM3。升级就比较顺利了，过程如下，该过程参考了哔哩哔哩网站的一个视频。
手把手一起在本地CPU上部署ChatGLM3-6B
鲁棒最小二乘支持向量机
02-02 4065
本地CPU上部署ChatGLM-6B
LLM大语言模型（一）：ChatGLM3-6B本地部署
hugo_lei的博客
12-03 5477
LLM大语言模型工程化，在本地搭建一套开源的LLM，方便后续的Agent等特性的研究。
本地部署清华大模型 ChatGLM3
王清欢的博客
11-03 2万+
ChatGLM 是一个开源的、支持中英双语的对话语言模型，由智谱 AI 和清华大学 KEG 实验室联合发布，基于 General Language Model (GLM) 架构，具有 62 亿参数。ChatGLM3-6B 更是在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上增加了更多特性。 虽然，目前 ChatGLM 比 GPT 稍有逊色，但是，在部署后可以完全本地运行，完全由自己掌控！本文介绍怎么在 Linux 服务上部署 ChatGLM3 服务，并通过多种方式使用本地部署地大模型。
（超详细)AI大模型部署安装,傻瓜式安装配置步骤，解决一切问题
大模型研究中心
09-25 7180
Rerankers是Github上支持rerank模型本地化的一个开源项目，支持不同类型的rerank模型，比如transformer-based, API-based，RankGTP等。我理解transformer-based cross-encoder类型的模型是主流，所以后续采用的也是这种。我了解有限，建议参考github项目文档了解更全面的信息。
windows本地部署开源自然语言模型ChatGLM3-6b
weixin_40896800的博客
03-31 1660
ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能。默认情况下，模型以 FP16 精度加载，测试运行需要大概 16GB 显存。如果你的 GPU 显存有限，可以尝试以量化方式加载模型，或者CPU运算方式测试运行模型，下面流程是基于GPU的。
使用LLaMA Factory来训练智谱ChatGLM3-6B模型
2301_81887304的博客
09-16 1165
使用LLaMA Factory来训练智谱ChatGLM3-6B模型
ChatGLM3-6B本地部署及微调-部署
江冷易水寒
01-03 3325
学术小白快速本地部署大模型ChatGLM3-6B
本地部署大模型chatglm3-6b
qq_39839075的博客
06-18 547
chatglm3-6b本地部署
20分钟本地部署ChatGLM3-6B
xiangxiang613的专栏
12-13 3828
和chatglm2相比，输出的结果似乎没有明显的改变，当最大的一个区别在于，chatglm2-6B有专门的int4版本，而chatglm3-gb取消了这个版本，在代码中可以直接指定量化版本。访问改地址即可进行对话：http://localhost:8501/email的地方直接回车，后面就会加载模型了。注意：chatglm3-6B约11G大小。
手把手教你部署并使用国产开源大模型ChatGLM3-6B
youmaob的博客
05-08 3231
部署一个自己的大模型，没事的时候玩两下，这可能是很多技术同学想做但又迟迟没下手的事情，没下手的原因很可能是成本太高，近万元的RTX3090显卡，想想都肉疼，又或者官方的部署说明过于简单，安装的时候总是遇到各种奇奇怪怪的问题，难以解决。本文就来分享下我的安装部署经验，包括本地和租用云服务器的方式，以及如何通过API调用大模型开发自己的AI应用，希望能解决一些下不去手的问题。
大模型应用开发：手把手教你部署并使用清华智谱GLM大模型
kfashfasf的博客
03-21 4287
部署一个自己的大模型，没事的时候玩两下，这可能是很多技术同学想做但又迟迟没下手的事情，没下手的原因很可能是成本太高，近万元的RTX3090显卡，想想都肉疼，又或者官方的部署说明过于简单，安装的时候总是遇到各种奇奇怪怪的问题，难以解决。本文就来分享下我的安装部署经验，包括本地和租用云服务器的方式，以及如何通过API调用大模型开发自己的AI应用，希望能解决一些下不去手的问题。
【本地部署大模型ChatGLM3-6B】
若兰幽竹
05-16 907
本地部署大模型需要注意的是电脑的GPU需要是独显，且有足够的显存。否则，无法运行该大模型。由此，我们可以看出，玩大模型首先需要的就是有好的硬件资源（费钱）。到此，本地部署大模型就到此结束了，感兴趣的朋友，可以尝试下，或者自己做一个网页版的对话方式。
智谱CogVLM & CogAgent 本地部署教程
qq_45043425的博客
03-10 2873
中tokenizer model的默认路径 指定到自己下载的tokenizer,model的路径。若要中文对话功能，需要去conversation.py 中的translate_baidu。注册账号 选择"机器翻译功能" 免费领取文本翻译功能 查看文档可获取。官方下载渠道很容易中断，需要自己手动下载模型/库。到composite_demo 文件夹。修改url 后面加上自己的token。我的设备是ubuntu22.04。
大模型chatglm3-6b （部署本地教程）
weixin_45515807的博客
09-02 382
4.去魔搭社区下载模型https://modelscope.cn/studios/ZhipuAI/chatglm3-6b-demo/summary。2.然后根据https://blog.csdn.net/weixin_45597212/article/details/135553151安装。​ 1.cuda官网https://developer.nvidia.com/cuda-toolkit-archive。链接https://pytorch.org/get-started/locally/
llm 开源模型有哪些
02-27
<think>好的，我现在需要回答用户关于开源LLM模型的问题。首先，用户之前问了如何部署Langchain-Chatchat，现在转向询问有哪些开源的LLM模型。这可能意味着用户对构建自己的聊天应用感兴趣，或者想了解可用的模型选项。 首先，我需要确定用户的需求。他们可能想了解目前主流的开源大语言模型，以便选择适合自己项目的模型。考虑到用户之前的问题涉及部署，他们可能对模型的易用性、硬件要求和中文支持特别关注。 接下来，我需要回忆当前知名的开源LLM模型。例如，Meta的Llama系列，特别是Llama 2和最新的Llama 3，这些都是非常重要的模型，拥有多种尺寸，适合不同计算资源。然后是中国的模型，比如ChatGLM系列（如ChatGLM3-6B），由智谱AI开发，支持中英双语，这对中文用户来说很关键。还有百川智能的Baichuan系列，以及零一万物的Yi模型，这些也都是中文社区中比较流行的。 另外，像Falcon、Mistral和MosaicML的MPT系列也是国际上的热门选择。需要提到它们的参数规模、适用场景以及许可证情况，因为有些模型虽然开源，但商用可能需要授权，比如Llama 2需要Meta的许可。 用户可能还关心模型的下载渠道，比如Hugging Face、ModelScope等平台，以及如何快速部署这些模型。同时，需要注意模型的硬件需求，比如显存大小，是否需要GPU加速等，这对用户部署时的硬件准备很重要。 此外，可能还需要提到一些微调框架，比如LLaMA-Factory，方便用户根据自己的需求对模型进行调整。最后，强调选择模型时要考虑语言支持、硬件限制和许可协议，确保合规和适用性。 需要组织这些信息，分门别类，结构清晰。可能分为国际模型、中文模型、其他模型，每个类别下列举几个主要模型，介绍其特点、参数、许可证和适用场景。同时，给出参考链接，方便用户进一步查阅。 检查是否有遗漏的重要模型，比如最近发布的模型，如Qwen（通义千问）的开源版本，或者DeepSeek等。确保信息更新及时，特别是版本号，如Llama 3是较新的发布，需要包含进去。 最后，用简洁明了的语言表达，避免技术术语过多，但保持专业性。确保每个要点的信息准确无误，特别是许可证和下载来源，避免误导用户。</think>以下是当前主流的开源大语言模型分类介绍（截至2024年5月最新信息）： --- ### **一、国际主流开源模型** 1. **Llama 系列（Meta）** - **Llama 3**（最新） - 参数规模：8B/70B - 特点：支持8K上下文，多语言优化 - 许可证：需申请商用授权 - 下载：https://llama.meta.com - **Llama 2**（经典版） - 参数：7B/13B/70B - 适用场景：通用对话、推理任务 - 衍生版本：Chinese-Llama-2（中文优化） 2. **Mistral 系列** - **Mistral-7B** - 特点：7B参数超越13B模型性能 - 优势：内存效率高（适合消费级显卡） - 许可证：Apache 2.0 3. **Falcon 系列（TII UAE）** - **Falcon-40B/180B** - 特色：基于Apache 2.0完全开源 - 适用场景：商业应用、多轮对话 --- ### **二、中文优化模型** | 模型名称 | 参数规模 | 亮点特性 | 推荐场景 | |------------------|----------|------------------------------|-----------------------| | **ChatGLM3-6B** | 6B | 中英双语、微调工具链完善 | 企业知识库问答 | | **Baichuan2** | 7B/13B | 支持法律/医疗垂直领域 | 专业领域对话 | | **Qwen-7B** | 7B | 阿里研发，支持插件扩展 | 复杂任务处理 | | **Yi-34B** | 34B | 全球首个200K上下文窗口 | 长文档理解 | | **DeepSeek-MoE** | 16B | 稀疏架构（显存节省40%） | 资源受限环境 | --- ### **三、其他重要模型** 1. **MPT 系列（MosaicML）** - 特色：支持8K+长上下文 - 推荐版本：MPT-30B（商用友好） 2. **Bloom（BigScience）** - 参数：176B - 特点：多语言支持（46种语言） - 局限：需要高性能硬件 3. **StarCoder（代码专用）** - 参数：15.5B - 专长：代码生成/补全 - 许可证：商用需授权 --- ### **四、模型获取渠道** 1. **Hugging Face Hub** ```python from huggingface_hub import snapshot_download snapshot_download(repo_id="meta-llama/Llama-2-7b-chat") ``` 2. **ModelScope（国内镜像）** ```bash git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git ``` 3. **官方Git仓库** - Baichuan：https://github.com/baichuan-inc - ChatGLM：https://github.com/THUDM --- ### **五、选型建议** 1. **资源优先型**： - 低显存（8GB）：选择ChatGLM3-6B量化版 - 中等显存（24GB）：Mistral-7B 2. **中文任务优先**： - 通用场景：Qwen-7B - 长文本处理：Yi-34B 3. **商业应用**： - 合规首选：Falcon-40B（Apache 2.0） - 高性能需求：Llama3-70B（需授权） --- ### **重要提醒** 1. 使用Llama系列需注意商用授权限制 2. 中文模型推荐搭配RAG技术增强效果 3. 最新趋势：MoE架构模型（如DeepSeek-MoE）显存效率提升显著 建议通过LLaMA-Factory等微调框架进行二次开发：https://github.com/hiyouga/LLaMA-Factory
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

m0_37559973

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值