智谱AI通用大模型：本地部署ChatGLM3-6B开源大模型

已于 2024-06-28 08:53:32 修改
阅读量5.4k 收藏 47
点赞数 32
分类专栏： 大模型 文章标签： 人工智能 chatglm 智谱AI 大模型
于 2024-04-23 17:16:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37559973/article/details/138111428
版权

目录

一、ChatGLM3介绍

二、环境配置和检查

2.1 操作系统

2.2 硬件环境

2.3 软件环境

三、本地源码部署

3.1 克隆源码

3.2 下载模型文件

3.3 安装依赖

3.4 代码调用

四、运行Demo

4.1 设置本地模型环境变量

4.2 Gradio 网页版 Demo

4.3 Streamlit  网页版 Demo

4.4 命令行交互Demo

一、ChatGLM3介绍

        ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。

开源模型序列

模型

介绍

代码链接

模型下载

ChatGLM3-6B

 第三代 ChatGLM 对话模型。ChatGLM3-6B 采用了全新设计的 Prompt 格式，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码执行（Code Interpreter）和 Agent 任务等复杂场景。 ChatGLM3

Huggingface

魔搭社区 

ChatGLM3-6B-base

 第三代ChatGLM基座模型。ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能。

Huggingface

 

魔搭社区

ChatGLM3-6B-32k

 第三代ChatGLM长上下文对话模型。在ChatGLM3-6B的基础上进一步强化了对于长文本的理解能力，能够更好的处理最多32K长度的上下文。

Huggingface

魔搭社区

ChatGLM3-6B-128k

 ChatGLM3-6B-128K在ChatGLM3-6B的基础上进一步强化了对于长文本的理解能力，能够更好的处理最多128K长度的上下文。具体地，我们对位置编码进行了更新，并设计了更有针对性的长文本训练方法，在对话阶段使用 128K 的上下文长度训练。在实际的使用中，如果您面临的上下文长度基本在 8K 以内，我们推荐使
最低0.47元/天 解锁文章
ChatGLM-6B中英双语对话大模型Windows本地部署实战
L
10-19 504
ChatGLM是智谱清言大模型的开源版本，目前有ChartGLM、ChatGLM2、ChatGLM3和GLM-4版本。ChatGLM：GitHub - THUDM/ChatGLM-6B: ChatGLM-6B: An Open Bilingual Dialogue Language Model | 开源双语对话语言模型简介：中文领域效果最好的开源底座模型之一，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持。
AI大模型探索之路-应用篇15：GLM大模型-ChatGLM3-6B私有化本地部署
寻道AI，探索AI无限可能！
04-18 6340
ChatGLM3-6B 是 OpenAI 推出的一款强大的自然语言处理模型，它在前两代模型的基础上进行了优化和改进，具有更高的性能和更广泛的应用场景。本文将从技术角度对 ChatGLM3-6B 进行详细介绍，包括其特点、资源评估、购买云服务器、git拉取GLM、pip安装依赖、运行测试以及本地部署安装等方面的内容。希望通过本文的介绍，能够帮助大家更好地理解和使用 ChatGLM3-6B 模型。
本地部署chatGLM3-6b教程
weixin_42118737的博客
05-09 2399
之前一直用的chatGLM2，将FastGPT本地化跑通后，现在试试将chatGLM2升级为chatGLM3。升级就比较顺利了，过程如下，该过程参考了哔哩哔哩网站的一个视频。
chatglm3实现RAG增强检索
编程爱好者
03-29 764
从huggingface或镜像网站下载生成文本嵌入模型，如bert-base-nli-mean-tokens ，其中1_Pooling、onnx和openvino可以不下载，否则加载模型时可能报错，下载后在项目的主目录建立其他文件夹放自己下载的模型，比如RAG(li)/embedding_model/bert-base-nli-mean-tokens。加载本地生成模型和分词器，创建文本生成管道，并包装成Hugging Face语言模型对象，然后创建任务链对象，注意如果没有cuda改为cpu。
手把手一起在本地CPU上部署ChatGLM3-6B
鲁棒最小二乘支持向量机
02-02 4110
本地CPU上部署ChatGLM-6B
LLM大语言模型（一）：ChatGLM3-6B本地部署
hugo_lei的博客
12-03 5509
LLM大语言模型工程化，在本地搭建一套开源的LLM，方便后续的Agent等特性的研究。
本地部署清华大模型 ChatGLM3
热门推荐
王清欢的博客
11-03 2万+
ChatGLM 是一个开源的、支持中英双语的对话语言模型，由智谱 AI 和清华大学 KEG 实验室联合发布，基于 General Language Model (GLM) 架构，具有 62 亿参数。ChatGLM3-6B 更是在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上增加了更多特性。 虽然，目前 ChatGLM 比 GPT 稍有逊色，但是，在部署后可以完全本地运行，完全由自己掌控！本文介绍怎么在 Linux 服务上部署 ChatGLM3 服务，并通过多种方式使用本地部署地大模型。
（超详细)AI大模型部署安装,傻瓜式安装配置步骤，解决一切问题
大模型研究中心
09-25 7536
Rerankers是Github上支持rerank模型本地化的一个开源项目，支持不同类型的rerank模型，比如transformer-based, API-based，RankGTP等。我理解transformer-based cross-encoder类型的模型是主流，所以后续采用的也是这种。我了解有限，建议参考github项目文档了解更全面的信息。
windows本地部署开源自然语言模型ChatGLM3-6b
weixin_40896800的博客
03-31 1672
ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能。默认情况下，模型以 FP16 精度加载，测试运行需要大概 16GB 显存。如果你的 GPU 显存有限，可以尝试以量化方式加载模型，或者CPU运算方式测试运行模型，下面流程是基于GPU的。
使用LLaMA Factory来训练智谱ChatGLM3-6B模型
2301_81887304的博客
09-16 1175
使用LLaMA Factory来训练智谱ChatGLM3-6B模型
AI大模型探索之路-训练篇25：ChatGLM3微调实战-基于LLaMA-Factory微调改造企业级知识库
寻道AI，探索AI无限可能！
05-20 1万+
在当前信息技术迅猛发展的时代，知识库的构建与应用已成为企业竞争的关键。随着自然语言处理技术的不断进步，基于微调的企业级知识库改造落地方案受到越来越多的关注。在前面的系列篇章中我们分别实践了基于CVP架构-企业级知识库实战落地和基于基于私有模型GLM-企业级知识库开发实战；本文将深入探讨和实践一种基于微调技术的企业级知识库改造方法，以期为企业提供更加高效、安全和可靠的知识管理解决方案。
ChatGLM3-6B本地部署及微调-部署
江冷易水寒
01-03 3344
学术小白快速本地部署大模型ChatGLM3-6B
本地部署大模型chatglm3-6b
qq_39839075的博客
06-18 564
chatglm3-6b本地部署
20分钟本地部署ChatGLM3-6B
xiangxiang613的专栏
12-13 3853
和chatglm2相比，输出的结果似乎没有明显的改变，当最大的一个区别在于，chatglm2-6B有专门的int4版本，而chatglm3-gb取消了这个版本，在代码中可以直接指定量化版本。访问改地址即可进行对话：http://localhost:8501/email的地方直接回车，后面就会加载模型了。注意：chatglm3-6B约11G大小。
手把手教你部署并使用国产开源大模型ChatGLM3-6B
youmaob的博客
05-08 3251
部署一个自己的大模型，没事的时候玩两下，这可能是很多技术同学想做但又迟迟没下手的事情，没下手的原因很可能是成本太高，近万元的RTX3090显卡，想想都肉疼，又或者官方的部署说明过于简单，安装的时候总是遇到各种奇奇怪怪的问题，难以解决。本文就来分享下我的安装部署经验，包括本地和租用云服务器的方式，以及如何通过API调用大模型开发自己的AI应用，希望能解决一些下不去手的问题。
大模型应用开发：手把手教你部署并使用清华智谱GLM大模型
kfashfasf的博客
03-21 4336
部署一个自己的大模型，没事的时候玩两下，这可能是很多技术同学想做但又迟迟没下手的事情，没下手的原因很可能是成本太高，近万元的RTX3090显卡，想想都肉疼，又或者官方的部署说明过于简单，安装的时候总是遇到各种奇奇怪怪的问题，难以解决。本文就来分享下我的安装部署经验，包括本地和租用云服务器的方式，以及如何通过API调用大模型开发自己的AI应用，希望能解决一些下不去手的问题。
【本地部署大模型ChatGLM3-6B】
若兰幽竹
05-16 920
本地部署大模型需要注意的是电脑的GPU需要是独显，且有足够的显存。否则，无法运行该大模型。由此，我们可以看出，玩大模型首先需要的就是有好的硬件资源（费钱）。到此，本地部署大模型就到此结束了，感兴趣的朋友，可以尝试下，或者自己做一个网页版的对话方式。
智谱CogVLM & CogAgent 本地部署教程
qq_45043425的博客
03-10 2929
中tokenizer model的默认路径 指定到自己下载的tokenizer,model的路径。若要中文对话功能，需要去conversation.py 中的translate_baidu。注册账号 选择"机器翻译功能" 免费领取文本翻译功能 查看文档可获取。官方下载渠道很容易中断，需要自己手动下载模型/库。到composite_demo 文件夹。修改url 后面加上自己的token。我的设备是ubuntu22.04。
大模型chatglm3-6b （部署本地教程）
weixin_45515807的博客
09-02 390
4.去魔搭社区下载模型https://modelscope.cn/studios/ZhipuAI/chatglm3-6b-demo/summary。2.然后根据https://blog.csdn.net/weixin_45597212/article/details/135553151安装。​ 1.cuda官网https://developer.nvidia.com/cuda-toolkit-archive。链接https://pytorch.org/get-started/locally/
dify 引入智普大模型
最新发布
04-19
### 如何在 Dify 中集成和使用智普大模型 要在 Dify 平台中集成和使用智普大模型，可以通过以下方式实现完整的功能支持。以下是关于如何配置以及调用的具体方法： #### 配置环境 首先需要确保本地已安装并运行了 Dify 的源码版本。如果尚未完成部署，请按照官方文档中的说明进行设置[^2]。完成后，进入项目的配置文件目录。 #### 修改配置文件 找到 `config.yaml` 或类似的全局配置文件，在其中添加智普大模型的相关参数。通常情况下，这涉及 API 密钥和服务地址的指定。例如： ```yaml model_providers: zhipu: api_key: "your_zhipu_api_key" base_url: "https://api.zhipuai.com" ``` 此部分定义了与智普大模型交互所需的基础信息[^1]。 #### 创建自定义插件或扩展 为了更好地适配智普大模型的功能特性，建议创建一个新的插件或者修改现有的 LLM 调用逻辑。假设我们正在处理的是基于对话的任务，则可以在代码层面上调整如下内容： ```python from dify import ModelProvider class ZhiPuModel(ModelProvider): def __init__(self, config): super().__init__(config) self.api_key = config['zhipu']['api_key'] self.base_url = config['zhipu']['base_url'] def generate(self, prompt): headers = { 'Authorization': f'Bearer {self.api_key}', 'Content-Type': 'application/json' } payload = {"prompt": prompt} response = requests.post(f"{self.base_url}/v1/generate", json=payload, headers=headers) if response.status_code == 200: result = response.json() return result.get('data', {}).get('text') else: raise Exception("Failed to get a valid response from the model.") ``` 上述代码片段展示了如何封装一个针对智普大模型的新类，并实现了基本的文字生成接口[^2]。 #### 测试新集成 最后一步就是测试整个流程是否正常工作。启动应用程序后尝试发送一些简单的请求给服务器端点来验证返回的结果是否符合预期。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

m0_37559973

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值