【ChatGLM】手把手教你云服务器部署ChatGLM聊天网站，不限次数调用。

已于 2023-12-17 12:29:53 修改
阅读量5.1k 收藏 36
点赞数 5
分类专栏： 我爱python 文章标签： 服务器 ChatGLM 人工智能
于 2023-07-25 22:52:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45722494/article/details/131927940
版权

目录

一，演示

私人部署地址：http://ilovechatgpt.cn。

免费使用！无限调用！速度还蛮快呢。

二，ChatGLM介绍

官方地址：https://github.com/THUDM/ChatGLM-6B

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，由基于清华大学 KEG 实验室与智谱 AI 于 2023 年联合训练，可以针对用户的问题和要求提供适当的答复和支持。

它基于 General Language Model 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（具体的部署条件看下章）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

特点：

  1. 开源
  2. 支持中文（国内很少有支持中文的开源模型）
  3. 低成本部署（兼容CPU）
  4. 具有记忆功能

三，部署条件

经过测试，推荐还是GPU部署，CPU运行的话运行时占用的资源更多，并且速度实在太慢了，自己单独使用的话也不能忍受这么慢的速度。GPU的生成速度才能满足使用的体验。

e0a6e2845fe0427fb7f23f07ca125813.png

内存不够启动项目的话，进程会被自动kill掉。而且模型启动后占用的现存是远远低于需要的现存的，比如说，我用GPU部署的无量化的ChatGLM2-6B模型，正常来说需要13GB显存，但我完全启动后，只占用了4GB。

image-20230725161343821

四，手把手教你搭建

1. 安装git
# centos 操作系统
yum install git
# ubuntu 操作系统
apt-get update
apt install git
2. 克隆地址到本地
git clone https://github.com/THUDM/ChatGLM-6B
# 进入项目文件夹
cd ChatGLM-6B

实在很慢的话，直接去gitee上面搜ChatGLM-6B，找最新的，有很多人把它搬到gitee作为镜像项目。

3. 进入项目，克隆模型文件

模型文件的作用是作为训练集，项目能够本地加载该模型文件并将其用于预测新的自然语言文本。模型文件决定我们能有怎么样的输出结果。

image-20230725212413417

可以根据上面部署条件的需求，来选择项目。我这里以 chatglm2-6b 来部署。

# 注意！后面一定要加上.git。
git clone https://huggingface.co/THUDM/chatglm2-6b.git

路径下就会有ChatGLM2-6B的文件夹，我们进入到里面

cd chatglm2-6b

你会发现模型很大，但是一下子就clone完了，是因为大文件是存储到lfs上面的，需要我们用到git的lfs工具来进行下载。当然，你也可以手动下载后，然后拷贝到服务器上，不过太麻烦，不推荐。

4. git lfs工具安装（已安装的话跳过）

centos安装命令

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.rpm.sh | sudo bash
 
sudo yum install git-lfs
 
git lfs install

ubuntu安装命令

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash

sudo apt-get install git-lfs

git lfs install
5. 克隆模型大文件
git lfs pull

模型文件都很大，下载时间很久，我建议在晚上的时候，使用如下命令，这样睡一觉，全部都已经下载好了。

# nohup 让程序后台运行，使其不受终端会话的影响而持续运行
nohup git lfs pull &
6. 运行web_demo.py

我建议把模型文件夹名字换成model，毕竟容易理解

# 进入到项目文件夹内部
cd ChatGLM-6B
# 改模型名字
mv chatglm2-6b model

修改官方样例代码

vim web_demo.py

  1. model为模型路径，也就是刚刚改的。

  2. .cuda() 意味用GPU运行，如果没有GPU，换成 .float() 用CPU运行就可以

image-20230725222236225

  1. server_name参数指定能够访问的ip，默认不写的话是只能本地127.0.0.1访问
  2. server_port参数指定web服务端口
  3. share代表是否让huggingface给你生成一个公网地址，别人能通过该公网地址直接访问。默认只能使用72小时。

image-20230725222403292

7. 结果

image-20230725224202624

五，补充

还可以通过命令行窗口交互，运行python cli_demo.py文件

nohup python cli_demo.py &

通过模型生成post接口，供其余后台应用直接调用

nohup python api.py &

image-20230725224108768

image-20230725224330109
欢迎关注我的公众号！😊

小梁说代码
关注
  • 5
    点赞
  • 踩
  • 36
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
手把手教你2小时搭建清华大学ChatGLM
05-15
https://blog.csdn.net/dingsai88/article/details/130639365 部署自己的chatglm，不需要买硬件。
手把手教你搭建腾讯云服务器入门(图文教程)
01-09
因为自己也会一点Java Web 服务器，索性租了一个云服务器，接口啥的自己写，说干就干吧。  由于本人是在校学生，所以从腾讯那买了一个学生版的服务器。性价比确实很高，价位是10元/月。 注意：
Chat2DB+ChatGLM自然语言转sql部署
weixin_48243455的博客
09-05 1327
chatGLM搭建教程地址：https://blog.csdn.net/qq_31136513/article/details/130405007。ChatGLM官网地址：https://github.com/THUDM/ChatGLM-6B。3.目前返回的是一个json这个问题，如果需要解决，则可以试着重写接口来对返回结果集进行抽取。Chat2DB官网地址：https://chat2db.ai/docs/1.自定义url为上面ChatGLM的API接口。如下为标准的模型返回的结果。2.自然语言转sql。
国产大语言模型ChatGLM3本地搭建、使用和功能扩展
最新发布
m0_63171455的博客
06-17 1111
ChatGLM3]
ChatGLM（国内版的chatGPT）
qq_41771998的博客
04-03 2万+
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答，更多信息请参考我们的博客。
手把手教你搭建自己本地的ChatGLM
master_hunter的博客
04-12 1万+
如果能够本地自己搭建一个ChatGPT的话，训练一个属于自己知识库体系的人工智能AI对话系统，那么能够高效的处理应对所属领域的专业知识，甚至加入职业思维的意识，训练出能够结合行业领域知识高效产出的AI。这必定是十分高效的生产力工具，且本地部署能够保护个人数据隐私，能够内网搭建办公使用也十分的方便。而对于ChatGLM来说最大的优点就是本地能快速部署且需要资源较比与ChatGPT相当低，还要什么自行车，够用就好。甚至能够在一些性能较高的服务器单点部署，INT4 量化级别下最低只需 6GB 显存。
Windows10下ChatGLM2-6B模型本地化安装部署教程图解
weixin_40547993的博客
07-17 1万+
ChatGLM2-6B 是开源中英双语对话模型ChatGLM-6B的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了GLM的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果。
大语言模型 RLHF(一)——ChatGLM代码逐行解读
qjzcy的博客
06-07 5499
为方便学习，对ChatGlm的代码做了逐行解读，这里主要是main方法，里面核心的部分如数据的解析，模型推理训练的框架流程。后续会针对ChatGLM核心优化代码做个解读，
ChatGLM-6B (介绍相关概念、基础环境搭建及部署)
热门推荐
王亮的博客
04-04 2万+
chatglm-6b详细部署步骤
清华大学chatGLM论文解读
zsq_csh1的博客
05-28 8166
2022年11月，斯坦福大学大模型中心对全球30个主流大模型进行了全方位的评测[2]，GLM-130B 是亚洲唯一入选的大模型。在与 OpenAI、谷歌大脑、微软、英伟达、脸书的各大模型对比中，评测报告显示 GLM-130B 在准确性和恶意性指标上与 GPT-3 175B (davinci) 接近或持平，鲁棒性和校准误差在所有千亿规模的基座大模型（作为公平对比，只对比无指令提示微调模型）中表现不错。
AIGC｜手把手教你进行ChatGLM模型部署实践
在数字化道路无限探索
12-28 1618
实践才是硬道理
LLMs之ChatGLM-3：ChatGLM3/ChatGLM3-6B的简介—“对话格式”功能介绍(推理系统如何解析参数/采用Python代码形式/编写工具调用的代码/Manual Mode)、推理演
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
11-10 6533
​ LLMs之ChatGLM3：ChatGLM3/ChatGLM3-6B的简介—“对话格式”功能介绍(推理系统如何解析参数/采用Python代码形式/编写工具调用的代码/Manual Mode)、推理演示(Chat/Tool/Code Interpreter)、微调(AdvertiseGen/ToolAlpaca)实现之图文教程攻略 目录 相关文章 ChatGLM3的“对话格式”功能的简介及其使用方法 ChatGLM3的推理演示 ChatGLM3的微调
本地部署清华大模型ChatGlm-6b、ChatGlm2-6b与ChatGlm3-6b（api接口、demo界面、流式非流式）（非常详细）
nfkjdx的博客
12-15 7257
（1）百度网盘下载地址(下载文件中附了非常详细的安装教程)：https://pan.baidu.com/s/1KQNOlYU-GMKbkPGcip1Hzw?pwd=5678（2）直接网上百度下载和安装，非常多教程，这里直接略过。
大模型ChatGLM简介及应用情景
brucexia的专栏
12-20 1093
标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62亿个参数的ChatGLM-6B虽然规模不及千亿模型的ChatGLM-130B，但大大降低了推理成本，提升了效率，并且已经能生成相当符合人类偏好的回答。具体来说，ChatGLM-6B具备以下特点。较低的部署门槛：在FP16半精度下，ChatGLM-6B至少需要13GB的显存进行推理，结合模型量化技术，这一需求可以进一步降低到 10GB（INT8）和 6GB（INT4），使得 ChatGLM-6B 可以部署在消费级显卡上。
(Windows下NVIDIA 显卡可用)ChatGLM-6B的安装文档(媲美GPT-3.5)，存一个！
liuruiaaa的博客
03-23 6234
(Windows可用)ChatGLM-6B的安装文档(媲美GPT-3.5)，存一个！
清华开源语言大模型ChatGLM3部署实战
Silver__Wolf的博客
11-07 1846
ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。
【AI】清华开源中英双语对话模型ChatGLM2-6B本地安装笔记
zhoulizhu的博客
07-02 2591
本文记录了本地安装ChatGLM2-6B的过程，本地是用了一张RTX4070 12G的显卡，对于这个模型有点勉强，但是在实际运行中发现Win11系统给了共享GPU存储，这让我这个12G的显卡也运行了13G的模型，目前看是能正常运行，没有爆显存的问题
ChatGLM系列一：ChatGLM的介绍及代码实践
永胜的博客
10-24 1477
下面是官方对ChatGLM的介绍：ChatGLM-6B，结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。经过约 1T 标识符的中英双语训练，辅以监督微调、 反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 虽然规模不及千亿模型，但大大降低了用户部署的门槛，并且已经能生成相当符合人类偏好的回答。
手把手教你部署chatglm2-6b
07-29
当然，我可以帮助你部署ChatGPT模型。以下是一步一步的指南： 步骤1：准备环境 首先，你需要一个Python环境来运行模型。确保你已经安装了Python 3.6或更高版本。 步骤2：安装依赖项 在命令行中打开一个新的终端窗口，并使用以下命令安装所需的依赖项： ``` pip install transformers flask ``` 步骤3：下载并解压模型 从CSDN下载chatglm2-6b模型的权重文件，并将其解压缩到你选择的目录中。 步骤4：创建Flask应用程序 在你选择的目录中创建一个名为app.py的Python文件，并使用以下代码创建一个基本的Flask应用程序： ```python from flask import Flask, request, jsonify from transformers import GPT2LMHeadModel, GPT2Tokenizer app = Flask(__name__) model_path = "path/to/your/model" tokenizer = GPT2Tokenizer.from_pretrained(model_path) model = GPT2LMHeadModel.from_pretrained(model_path) @app.route("/chat", methods=["POST"]) def chat(): data = request.json input_text = data["input_text"] input_ids = tokenizer.encode(input_text, return_tensors="pt") output = model.generate(input_ids, max_length=100) response = tokenizer.decode(output[0], skip_special_tokens=True) return jsonify({"response": response}) if __name__ == "__main__": app.run(host="0.0.0.0", port=5000) ``` 步骤5：运行应用程序 在终端窗口中，导航到包含app.py文件的目录，并运行以下命令来启动应用程序： ``` python app.py ``` 步骤6：测试应用程序 使用HTTP客户端（如Postman或cURL）向http://localhost:5000/chat发送POST请求，并在请求正文中包含以下JSON数据： ```json { "input_text": "你想说的话" } ``` 你将收到一个包含ChatGPT模型生成的响应的JSON响应。 这就是部署chatglm2-6b模型的基本步骤。你可以根据需要进行修改和扩展。希望这可以帮助到你！
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小梁说代码

你的鼓励是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值