智谱ChatGLM3本地私有化部署（Linux）

最新推荐文章于 2025-04-16 15:24:17 发布
最新推荐文章于 2025-04-16 15:24:17 发布
阅读量3k 收藏 50
点赞数 47
分类专栏： # LLM 文章标签： 人工智能 机器学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/beautifulmemory/article/details/138967468
版权

智谱ChatGLM3本地私有化部署

1环境配置和检查

要进行智谱ChatGLM3本地私有化部署，你需要进行以下环境配置和检查：

  1. 硬件要求： 确保你的服务器或计算机满足智谱ChatGLM3的硬件要求，包括处理器、内存和存储等方面。

  2. 操作系统： 智谱ChatGLM3支持多种操作系统，如Linux、Windows和macOS等。选择适合你的操作系统，并确保它符合智谱ChatGLM3的要求。

  3. Python环境： 安装Python并配置相关环境。智谱ChatGLM3通常需要Python 3.10或更高版本。

  4. GPU支持： 如果你计划使用GPU进行模型训练和推理，你需要安装相应的GPU驱动和CUDA工具包，并确保你的GPU与智谱ChatGLM3兼容。

  5. 依赖库安装： 智谱ChatGLM3依赖于一些Python库，如TensorFlow、NumPy等。使用pip或conda等包管理工具，安装所需的依赖库。

  6. 模型下载： 下载智谱ChatGLM3的模型文件，这些文件包含了预训练好的模型参数和配置信息。

  7. 配置文件： 根据你的需求，修改智谱ChatGLM3的配置文件，包括模型路径、输入输出设置等。

  8. 测试和验证： 确保你的环境配置正确无误后，进行简单的测试和验证，确保智谱ChatGLM3可以正常运行。

请注意，智谱ChatGLM3的部署和配置可能会因个人需求和环境而有所差异。建议参考智谱ChatGLM3的官方文档或开发者指南，获取详细的部署步骤和配置说明。

1.1操作系统

ChatGLM3-6B理论上可以在任何主流的操作系统中运行。ChatGLM开发组已经为主流操作系统做了一定的适配。

但是，我们更推荐开发者在 Linux环境下运行我们的代码，以下说明也主要针对Linux系统。

1.2硬件环境

最低要求：

为了能够流畅运行 Int4 版本的 ChatGLM3-6B，我们在这里给出了最低的配置要求：

内存：>= 8GB

显存: >= 5GB（1060 6GB,2060 6GB）

为了能够流畅运行 FP16 版本的，ChatGLM3-6B，我们在这里给出了最低的配置要求：

内存：>= 16GB

显存: >= 13GB（4080 16GB）

Mac开发者无需关注GPU的限制。对于搭载了 Apple Silicon 或者 AMD GPU 的 Mac，可以使用 MPS 后端来在 GPU 上运行 ChatGLM3-6B。需要参考 Apple 的 官方说明 安装 PyTorch-Nightly（正确的版本号应该是2.x.x.dev2023xxxx，而不是 2.x.x）。

如果使用CPU加载，可以忽略显存的要求，但是速度非常慢

1.3软件环境

1.3.1Python环境&检查环境命令

请开发者按照仓库中的requirements.txt来安装对应的依赖，并需要注意:

python 版本推荐3.10.12

transformers 库版本推荐为 4.30.2

torch 推荐使用 2.0 及以上的版本，以获得最佳的推理性能

例如检查python环境：

  1. Python：python3.10 --version 或者 python3.10 -V

  1. Pip：pip3.10 --version 或者pip3.10 -V

  1. python与pip版本一致：python3.10 -m pip --version

正确如图：

错误如图：

2快速使用（推理部署）

2.1源码安装与运行

上述两种方案的目的是让更多的用户能够体验到我们的模型，但无法进行二次开发，如果您准备深度使用我们的模型，我们建议按照以下方式安装。

2.2克隆代码和模型

下载源码

模型基础运行代码已经上传到 github 和 SwanHub 两个平台，两个平台的信息同步。开发者通过以下方式下载模型代码。

从 github 下载源码

git clone https://github.com/THUDM/ChatGLM3.git

从 SwanHub 下载源码

git clone https://swanhub.co/ZhipuAI/ChatGLM3.git

开发者可以通过以下方式下载模型文件

下载模型

下载模型文件前请先确保`git lfs`命令已安装，安装教程请参考这里。

模型文件已上传至 Huggingface, Modelsope , SwanHub 三个平台，用户可以快速安装模型。

若使用 Huggingface 下载模型

（1）windows安装命令：git lfs install

（2）Linux安装命令：

为您的系统配置 packagecloud 存储库后，您可以安装 Git LFS：

apt/deb:sudo apt-get install git-lfs

百胜/转数：sudo yum install git-lfs

查看版本：git lfs version

若使用 Modelscope 下载模型

git lfs install

git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

若使用 SwanHub 下载模型

git lfs install

git clone https://swanhub.co/ZhipuAI/chatglm3-6b.git

2.3检查文件的完整性

  1. 用户在下载完模型后请检查每个文件的完整性，以下是模型文件的sha256校验码。

# sha256 checksums for chatglm3-6b

4d5567466e89625dbd10e51c69a02982f233a10108cf232a379defdbb065ae0b pytorch_model-00001-of-00007.bin

4ad41534016ac4a2431fa2d4b08efbe28f963744135ec52b2ea13cc86730fa2a pytorch_model-00002-of-00007.bin

a2be9b17c332a8345e787953d4879caee4747ad4b263f013aa3c4654c94c3d24 pytorch_model-00003-of-00007.bin

b5526891e1b4c8edd2e3688df5156aa107e2140fe7e3f9d0d54f9cbe3b6ee3b5 pytorch_model-00004-of-00007.bin

84bb18a476f74beaf4d941733bd1c475791eba799b228f78d0165de989cb7a40 pytorch_model-00005-of-00007.bin

1181875a2dc30fba968d72d0fc4628b9a60d3866bf680eb14b9822b5b504830f pytorch_model-00006-of-00007.bin

1271b638dc0a88206d1c7a51bcaa862410eb56f3e59fd0068a96e96cb5e3f4f0 pytorch_model-00007-of-00007.bin

e7dc4c393423b76e4373e5157ddc34803a0189ba96b21ddbb40269d31468a6f2 tokenizer.model

# sha256 checksums for chatglm3-6b-32k

39aeddd81596b2d66d657687a7328ebc7f8850e8ea83fa74080da59f7d2f7afc pytorch_model-00001-of-00007.bin

2525475ea2d483ecc15a15ad4e016ee0155e628ac66f15cd54daa6c811193e92 pytorch_model-00002-of-00007.bin

faa1d884168a125af5105c4ee4c59fdac79f847b35a7389e0122a562995d34db pytorch_model-00003-of-00007.bin

66492c02ed13189202c7e46a121e308cf0ebbcf8141ecf3d551141aecfac7120 pytorch_model-00004-of-00007.bin

870bb2bb4a289b8ab37cce88f56e93381ff428063b3d0065994a3dd2e830cb32 pytorch_model-00005-of-00007.bin

a5f39ca17ba89e47e484d3b20d4ff78f4fb9b1b24bd3dfb314eff91ff6e37230 pytorch_model-00006-of-00007.bin

7c8a8f3e881202ac3a9ab2638ce30147f67d4bd799624c24af66406a6ba22db2 pytorch_model-00007-of-00007.bin

e7dc4c393423b76e4373e5157ddc34803a0189ba96b21ddbb40269d31468a6f2 tokenizer.model

# sha256 checksums for chatglm3-6b-base

b6a6388dae55b598efe76c704e7f017bd84e6f6213466b7686a8f8326f78ab05 pytorch_model-00001-of-00007.bin

2f96bef324acb5c3fe06b7a80f84272fe064d0327cbf14eddfae7af0d665a6ac pytorch_model-00002-of-00007.bin

2400101255213250d9df716f778b7d2325f2fa4a8acaedee788338fceee5b27e pytorch_model-00003-of-00007.bin

472567c1b0e448a19171fbb5b3dab5670426d0a5dfdfd2c3a87a60bb1f96037d pytorch_model-00004-of-00007.bin

ef2aea78fa386168958e5ba42ecf09cbb567ed3e77ce2be990d556b84081e2b9 pytorch_model-00005-of-00007.bin

35191adf21a1ab632c2b175fcbb6c27601150026cb1ed5d602938d825954526f pytorch_model-00006-of-00007.bin

b7cdaa9b8ed183284905c49d19bf42360037fdf2f95acb3093039d3c3a459261 pytorch_model-00007-of-00007.bin

e7dc4c393423b76e4373e5157ddc34803a0189ba96b21ddbb40269d31468a6f2 tokenizer.model

2.4安装依赖

pip 安装基本依赖
cd ChatGLM3

pip install -r requirements.txt

如果你担心你的配置不满足最低配置，你可以访问环境配置和检查获取更多信息。

Linux 环境安装cuda

问题描述：显卡的驱动环境没有

问题分析：购买GPU实例及安装驱动_GPU云服务器(EGS)-阿里云帮助中心

解决方案：升级gpu版本（已安装就卸载掉重新安装）

安装方法：

安装Tesla驱动（Linux)_GPU云服务器(EGS)-阿里云帮助中心

2.5运行openai_api_demo目录

启动API接口

（1）激活环境：conda activate xnenv

（2）进入目录：cd /home/chatglm/ChatGLM3/openai_api_demo

（3）启动应用：nohup python api_server.py > openai_api_demo.out &

主要有4个接口能用：

接口1-检查服务健康状态（get）：http://127.0.0.1:8000/health

接口2-列出可用模型列表（get）：http://127.0.0.1:8000/v1/models/

接口3-处理聊天完整请求（post）：http://127.0.0.1:8000/v1/chat/completions

接口4-处理文本输入列表嵌入请求（get）：http://192.168.0.129:8000/v1/chat/embeddings

总结：上面只是个人搭建的过程，更多请查看官方文档（

Docsicon-default.png?t=N7T8https://zhipu-ai.feishu.cn/wiki/WvQbwIJ9tiPAxGk8ywDck6yfnof

）

GLM-130B本地部署的实战方案
herosunly的博客
07-04 7万+
本文主要介绍GLM-130B本地部署的实战方案，希望对学习大语言模型的同学们有所帮助。需要说明的是GLM-130B是未进行微调的版本，还无法达到ChatGLM-130B的效果。 文章目录 1. 介绍 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 3. 运行GLM-130B模型
学习实践ChatGLM-6B（部署+运行+微调）
LZL2020LZL的博客
04-07 1万+
该模型基于 General Language Model (GLM) 架构，具有 62 亿参数。注：结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B可以实现的能力这是一个对话机器人，所以基本的问答，系统都支持。自我认知提纲写作文案写作邮件助手信息抽取角色扮演评论比较旅游向导。
清华智谱GLM大模型私有化部署教程：手把手教你部署与使用
最新发布
2401_84494441的博客
04-16 821
部署一个自己的大模型，没事的时候玩两下，这可能是很多技术同学想做但又迟迟没下手的事情，没下手的原因很可能是成本太高，近万元的RTX3090显卡，想想都肉疼，又或者官方的部署说明过于简单，安装的时候总是遇到各种奇奇怪怪的问题，难以解决。本文就来分享下我的安装部署经验，包括本地和租用云服务器的方式，以及如何通过API调用大模型开发自己的AI应用，希望能解决一些下不去手的问题。
chatglm3实现RAG增强检索
编程爱好者
03-29 702
从huggingface或镜像网站下载生成文本嵌入模型，如bert-base-nli-mean-tokens ，其中1_Pooling、onnx和openvino可以不下载，否则加载模型时可能报错，下载后在项目的主目录建立其他文件夹放自己下载的模型，比如RAG(li)/embedding_model/bert-base-nli-mean-tokens。加载本地生成模型和分词器，创建文本生成管道，并包装成Hugging Face语言模型对象，然后创建任务链对象，注意如果没有cuda改为cpu。
本地部署 ChatGLM3
engchina的专栏
10-31 2357
本地部署 ChatGLM3
本地部署清华大模型 ChatGLM3
王清欢的博客
11-03 2万+
ChatGLM 是一个开源的、支持中英双语的对话语言模型，由智谱 AI 和清华大学 KEG 实验室联合发布，基于 General Language Model (GLM) 架构，具有 62 亿参数。ChatGLM3-6B 更是在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上增加了更多特性。 虽然，目前 ChatGLM 比 GPT 稍有逊色，但是，在部署后可以完全本地运行，完全由自己掌控！本文介绍怎么在 Linux 服务上部署 ChatGLM3 服务，并通过多种方式使用本地部署地大模型。
开源模型ChatGLM3本地安装部署
penngo的专栏
03-28 7203
开源模型ChatGLM3本地安装部署
CHATGLM3应用指南（一）——本地部署
xiaoxian666的博客
02-23 2625
写在前面：由于github仓库的代码会更新（），为了和本文保持一致，于是这里将2024/2/23日下载的代码存放在百度网盘：链接：https://pan.baidu.com/s/10MeAoQgJmPJqDZFLBTubDQ提取码：aeq1将chatgalm3-6b模型放在ChatGLM3-main下。
手把手教你本地部署清华大模型 ChatGLM3
python1234567_的博客
11-14 1808
这是 ChatGPT 应用的访问 URL接着，在仓库目录下执行。
LangChain+ChatGLM基本原理及私有化部署
xinsuiqingfeng的博客
06-28 1023
基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现，通过RAG提供了本地创建用户知识库的支持，使得在大语言模型基础上，可以接入用户数据，实现基于大语言模型的数据抽取和分析，并提供更加灵活友好的人性化交互方式。接口4-处理文本输入列表嵌入请求（get）：http://192.168.0.129:8000/v1/chat/embeddings。接口2-列出可用模型列表（get）：http://127.0.0.1:8000/v1/models/
Langchain+ChatGLM-6B的私有化部署实现企业私有知识库
m0_74783940的博客
07-05 2962
Langchain+ChatGLM-6B的私有化部署实现企业私有知识库
【Linux】环境ChatGLM-4-9B 模型之 openai API 服务
m0_52985087的博客
12-06 1313
文章讲述了开启openai 服务后，并能够实现简单的代码交互
ChatGLM3 本地部署的解决方案
热门推荐
herosunly的博客
10-28 8万+
本文主要介绍了ChatGLM3 本地部署的解决方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 3. 下载权重文件 4. 运行代码 4.1 方式一 4.2 方式二
chatglm3本地部署(综合Demo版本)教程
weixin_42596778的博客
12-25 2314
接下来打开ChatGLM3中的requirements.txt文件，找到里面的torch信息，删除红框中的这一行，因为直接使用这里面的torch，下载的是cpu版本，所以我们上面就自己手动下载了GPU版本。我是在本地c盘中，创建了一个glm3文件夹，然后把代码拉到这个文件夹里，所以在clone之前，需要在cmd中，把路径切换到glm3文件夹下，然后执行如下代码。其实到这里，已经可以运行普通的demo了，但是我们的目标是运行综合Demo，所以我们需要进到composite_demo目录下，然后安装里面的包。
ChatGLM3 Linux 部署
weixin_38530760的博客
03-22 1299
然后进入项目地址 basic_demo 目录后运行web_demo_gradio.py。在最后添加上MODEL_PATH，跟py代码中环境变量名保持一致。在最后添加上MODEL_PATH，跟py代码中环境变量名保持一致。启动web_demo_gradio.py的话需要安装几个依赖。在web_demo_gradio.py 代码最后。---如果要启动api_server.py。在当前目录创建一个demo.py 文件。重新进入api_server.py目录。启动api_server.py。
【保姆级教程】手把手教你本地部署清华大模型 ChatGLM3
qkh1234567的博客
01-04 1791
ChatGLM 是一个开源的、支持中英双语的对话语言模型，由智谱 AI 和清华大学 KEG 实验室联合发布，基于 General Language Model (GLM) 架构，具有 62 亿参数。ChatGLM3-6B 更是在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上增加了更多特性。 虽然，目前 ChatGLM 比 GPT 稍有逊色，但是，在部署后可以完全本地运行，完全由自己掌控！本文介绍怎么在 Linux 服务上部署 ChatGLM3 服务，并通过多种方式使用本地部署地大模型。
ChatGLM3本地部署运行（入门体验级）
缘友一世的博客
11-13 2830
ChatGLM3本地部署运行（入门体验级）
GPT实战系列-ChatGLM3本地部署CUDA11+1080Ti+显卡24G实战方案
Alex_StarSky的博客
11-02 1万+
本地部署大模型，那么如何用小显存部署和使用也是非常重要，让AI的价值应用并延伸到更广泛的领域。 本实战专栏继续关注小而美的大模型，将评估一系列的开源模型，尤其关注国产大模型，重点在于可私有化、轻量化部署，比如推理所需的GPU资源控制在24G显存内，2张Titan XP，或1080 Ti。
是否使用gpu的判断方法
S_unn_y_的博客
08-10 924
print("GPU名称：", torch.cuda.get_device_name(1)) # 根据索引号得到GPU名称。# print("是否可用：", torch.cuda.is_available()) # 查看GPU是否可用。# print("GPU数量：", torch.cuda.device_count()) # 查看GPU数量。# print("GPU索引号：", torch.cuda.current_device()) # 查看GPU索引号。
如何在群晖Nas中私有化部署Deepseek大模型
02-25
<think>嗯，用户问的是如何在群晖NAS上私有化部署DeepSeek大模型。首先，我得确定DeepSeek大模型的具体情况，因为不同的模型可能有不同的部署方式。比如像LLaMA或者Alpaca这样的模型，通常需要特定的框架支持，比如Hugging Face的Transformers或者使用llama.cpp这样的工具。但用户提到的是DeepSeek，可能是一个特定的模型，我需要先确认这个模型的开源情况以及支持的推理框架。 接下来，群晖NAS的硬件配置是关键。大模型通常需要较强的GPU支持，但大多数家用群晖设备可能只有CPU，没有独立显卡。这样的话，部署像7B或13B参数的模型可能会比较吃力，推理速度会很慢。用户可能需要考虑模型量化，比如使用llama.cpp的GGUF格式，或者用Transformers的int8量化来减少内存占用。 然后是软件环境。群晖NAS通常运行的是基于Linux的系统，但可能没有直接的root访问权限，或者需要套件中心来安装软件。比如，用户可能需要通过Docker来部署，因为群晖支持Docker套件。这时候需要准备一个包含CUDA支持的Docker镜像（如果有GPU的话），或者仅使用CPU的基础镜像。 另外，模型文件的获取也是一个问题。用户需要从合法的渠道下载DeepSeek的模型权重，可能需要申请权限或者遵守特定的开源协议。下载后，如何将模型文件放入NAS的存储目录，并确保Docker容器能正确访问到这些路径。 接下来是具体的部署步骤。比如，使用Docker运行一个文本生成的Web界面，比如oobabooga的text-generation-webui，或者使用简化版的llama.cpp的server。需要编写或获取相应的Dockerfile，配置端口映射，挂载卷，设置环境变量等。 可能还需要考虑性能优化，比如调整线程数、批处理大小，或者开启量化来降低资源消耗。同时，安全方面的问题，比如是否需要设置访问权限，防止NAS上的服务被外部访问。 用户可能的实际使用场景是什么？他们可能希望有一个本地化的AI助手，处理文本生成、问答或者其他任务，同时保证数据隐私。所以私有化部署是关键，确保数据不离开本地NAS。 此外，用户的技术水平可能参差不齐，所以步骤需要尽量详细，避免使用太多专业术语，或者提供不同的方法，比如使用Docker还是直接安装Python环境，或者使用现有的群晖套件（如果有的话）。 最后，验证部署是否成功，比如通过curl测试API，或者访问Web界面进行交互。同时提醒用户注意模型的硬件要求，如果NAS性能不足，可能需要升级硬件或选择更小的模型版本。</think>在群晖NAS中私有化部署大模型（如DeepSeek或其他开源模型）需要结合硬件性能、软件环境和具体模型要求。以下是一个通用部署流程，以 **CPU/GPU混合环境** 为例，针对中文场景优化： --- ### **一、准备工作** 1. **确认硬件配置** - **最低要求**：x86架构群晖（DSM 7.0+），4核CPU，8GB内存（仅支持小模型如 1.3B-7B 参数）。 - **推荐配置**：带有NVIDIA显卡的群晖（如部分XS/XS+型号），16GB+内存，SSD缓存加速。 2. **获取模型文件** - 从官方渠道下载DeepSeek模型（如Hugging Face或官方GitHub），确保格式为 `.bin` (GGML) 或 `.safetensors`。 - 若需中文优化，可选择类似`Chinese-LLaMA-Alpaca`等社区优化版本。 --- ### **二、部署方式（推荐Docker）** #### **方法1：使用`text-generation-webui`（可视化界面）** ```bash # 通过群晖Docker套件操作 1. 拉取镜像：选择`oobabooga/text-generation-webui`官方镜像。 2. 配置容器： - 挂载模型目录：`/models` ➔ NAS中的模型文件夹（如`/docker/llm/models`） - 端口映射：7860（Web UI）、5000（API） 3. 环境变量： - `CLI_ARGS=--model deepseek-7b --cpu` （纯CPU模式） - 若有GPU：`CLI_ARGS=--model deepseek-7b --auto-devices` 4. 启动后访问：http://群晖IP:7860 ``` #### **方法2：使用`llama.cpp`（轻量CPU优化）** ```bash 1. 通过SSH登录群晖，安装基础依赖： sudo apt-get update && sudo apt-get install build-essential 2. 编译llama.cpp： git clone https://github.com/ggerganov/llama.cpp cd llama.cpp && make 3. 转换模型为GGUF格式（需提前下载）： python3 convert.py --input-model /path/to/deepseek --output-gguf /output/ggml-model-f16.gguf 4. 量化模型（节省内存）： ./quantize ggml-model-f16.gguf ggml-model-q4_0.gguf q4_0 5. 启动API服务： ./server -m ggml-model-q4_0.gguf -c 2048 --port 8080 ``` --- ### **三、中文优化技巧** 1. **模型选择** - 优先选择已针对中文优化的模型（如`DeepSeek-Chat`或`ChatGLM3`）。 2. **提示词模板** - 使用中文系统提示词（如“你是一个由DeepSeek开发的中文AI助手”）。 3. **性能调优** - CPU模式：设置`--threads`参数为物理核心数（如4核CPU设为4）。 - GPU加速（仅限支持型号）：添加`--n-gpu-layers 20`加载部分层到显卡。 --- ### **四、常见问题** - **内存不足**：尝试量化模型（如Q4_K_M）或使用更小模型（如Phi-3-mini）。 - **速度慢**：启用群晖SSD缓存，或通过API异步调用。 - **无显卡支持**：使用`llama.cpp`或`mlc-llm`等CPU优化框架。 --- ### **五、进阶方案** - **集成至群晖服务**：通过反向代理（Nginx）绑定域名，搭配群晖SSL证书启用HTTPS。 - **结合本地应用**：使用Synology Drive同步模型文件，或通过Webhook对接ChatBot。 部署完成后，可通过`curl http://localhost:5000/api/v1/generate -d &#39;{"prompt":"你好"}&#39;`测试API，或直接在Web界面交互。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

正在走向自律

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值