【大模型入门教程】从0开始离线部署私有大模型——离线大模型部署指南

大模型的使用必将包含以下三个阶段：

1. 直接使用，用于提效

2. 使用 API 定制应用程序

3. 离线部署+微调，实现私有数据模型化

第一个阶段已经完成，作为技术者应该关注第二、三阶段。今天我们教大家从0开始离线部署私有大模型，过程十分详细，再菜的鸟都能学的会，记不住的点赞收藏，上机实操下。

1. 环境安装和配置

我们以清华大学开源的 ChatGLM-6B 语言模型为例。ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署。

实验使用的环境如下：

Windows11

13700KF

32G内存

RTX 3090 24G显存

ChatGLM-6B 可在最小 6GB 显存运行。如果没有合适的显卡或者想体验完整版，可以购买云服务商的 A100 GPU 服务器试用。以阿里云为例，最便宜的每小时 38 元左右。

2. 安装 Python

Python 官网下载并安装 Python，记得选上“Add python.exe to PATH”。

3. 安装 CUDA

由于 PyTorch 最新只能支持 11.8 的显卡驱动，不能安装最新版 CUDA。

在 Nvidia 官网 下载 11.8 的 CUDA Toolkit Archive。

4. 安装 PyTorch

在 PyTorch 官网 执行对应版本的安装命令。

5. 安装 git

从 git 官网 下载 git。

6. 部署代码

使用下面git命令Clone 代码：

git clone https://github.com/THUDM

/ChatGLM-6B.git

  

【安装依赖】

  

cd ChatGLM-6B

pip install -r requirements.txt

  

【下载模型】

代码在执行时默认自动下载模型。如果没有使用魔法，你需要手动下载模型。在 清华大学云盘 下载模型，假设下载到 D:\chatglm-6b-models

7. 运行代码

启动 Python

ChatGLM-6B 返回了“你好👋！我是人工智能助手 ChatGLM-6B，很高兴见到你，欢迎问我任何问题。”。至此，大语言模型的离线部署就实现了。我们可以发挥我们的聪明才智，让它给我们工作了。

【长文本生成】

让 ChatGLM-6B 为我们生成一篇文章。

经过大约10秒钟后，文章生成。

运行结果看起来还是很不错的。

私有模型离线部署是指将机器学习模型部署到私有环境中，以保证数据安全和隐密性。这种部署方式适用于那些需要高度安全保障的行业，如金融、医疗、法律等。私有模型离线部署也具有很多优势，比如：

首先，私有化部署可以提供更好的数据安全性和隐密性，因为数据存储在本地服务器上，不会上传到云端，从而避免了数据泄露和攻击。

其次，私有化部署可以更好地满足企业定制化的需求，因为可以根据企业的特定需求和业务流程来定制开发模型和系统，提高管理效率和准确性。

此外，私有化部署还可以提高系统的可靠性和稳定性，因为本地服务器可以更好地控制环境和配置，减少外部因素对系统的影响。

AI大模型学习路线

如果你对AI大模型入门感兴趣，那么你需要的话可以点击这里大模型重磅福利：入门进阶全套104G学习资源包免费分享！

扫描下方csdn官方合作二维码获取哦！

这是一份大模型从零基础到进阶的学习路线大纲全览，小伙伴们记得点个收藏！

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

100套AI大模型商业化落地方案

大模型全套视频教程

200本大模型PDF书籍

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

LLM面试题合集

大模型产品经理资源合集

大模型项目实战合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓