GLM-6B部署手册

已于 2023-05-13 15:19:04 修改
阅读量1.3k 收藏 5
点赞数 3
分类专栏： 菜鸟开发日记 文章标签： python 语言模型
于 2023-05-12 10:28:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mico_Cmx/article/details/130636223
版权

硬件环境

GPUNVIDIA 3090
CPUIntel Xeon Gold 6271C, 2.6GHz, 10 Core
内存40G
显存24G
系统盘150G SSD
浮点算力FP32 35.6 TFLOPS

软件环境

python3.10
cuda11.6
cudnn8

部署流程

1.购买服务器并安装镜像

本部署基于揽睿星舟-GPU算力平台（https://www.lanrui-ai.com/）

  • 注册并登录后进入控制台，创建工作空间

在这里插入图片描述

  • 选择对应的服务器配置

点击使用，并选择对应的镜像和预训练模型，完成环境搭建
在这里插入图片描述
在这里插入图片描述

2.部署GML-6B
  • Git加速配置

执行下面2条命令，设置git学术资源加速

git config --global http.proxy socks5h://172.16.16.39:8443
git config --global https.proxy socks5h://172.16.16.39:8443
  • 下载ChatGLM源代码

进入Jupyter的页面后，可以看到2个目录，对目录做下说明：

data目录，存放数据，平台共享的

imported_models目录，存放预训练模型，即创建工作空间时你选择的模型

点击data目录下，可以看到ChatGLM-6B文件夹，里面是ChatGLM的源代码

如果没有ChatGLM-6B目录，那么我们这一步需要下载代码，

操作如下： 页面打开一个Terminal终端，在Terminal终端执行命令 下载ChatGLM源代码

git clone https://github.com/THUDM/ChatGLM-6B.git
  • 安装依赖

执行命令切换到ChatGLM-6B的目录

cd ChatGLM-6B

接着修改requirements.txt文件，把后续所有需要的依赖都加上，下面的配置加在文件末尾即可，如果文件里已加上这3个依赖，无需再修改

chardet
streamlit
streamlit-chat

加完之后save保存下文件，如图
在这里插入图片描述

接着命令行执行下面命令安装依赖，如果报错ERROR: Could not install packages due to an OSError: Missing dependencies for SOCKS support，执行sudo su切换root用户再执行以下命令即可

# 使用默认镜像源下载会超时，这里用了清华的pip镜像源地址
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/
3.修改启动脚本
  • 修改web_demo2.py文件中的模型加载地址为本地目录

在这里插入图片描述

改为
在这里插入图片描述

4.启动
  • 在ChatGLM-6B目录下，命令行执行
python3 -m streamlit run ./web_demo2.py --server.port 27777 --server.address 0.0.0.0
  • 看到如下输出则启动成功

在这里插入图片描述

5.使用
  • 登录揽睿星舟复制调制地址

在这里插入图片描述

  • 在浏览器进行访问，即可使用
    在这里插入图片描述
米可菜菜子
关注
  • 3
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
GLM-4本地部署的实战教程
herosunly的博客
06-05 10万+
本文主要介绍了GLM-4-9B本地部署的实战教程，希望对学习和使用大模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型文件 3. 运行glm-4-9b-chat
GLM-130B本地部署的实战方案
热门推荐
herosunly的博客
07-04 7万+
本文主要介绍GLM-130B本地部署的实战方案，希望对学习大语言模型的同学们有所帮助。需要说明的是GLM-130B是未进行微调的版本，还无法达到ChatGLM-130B的效果。 文章目录 1. 介绍 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 3. 运行GLM-130B模型
手把手教你本地CPU环境部署清华大模型ChatGLM-6B，利用量化模型，本地即可开始智能聊天，达到ChatGPT的80%
xzp740813的博客
04-30 1020
大家好，今天教你们本地CPU环境部署清华大ChatGLM-6B模型，利用量化模型，每个人都能跑动大模型。ChatGLM-6B是一款出色的中英双语对话模型，拥有超过62亿个参数，可高效地处理日常对话场景。与GLM-130B模型相比，ChatGLM-6B在对话场景处理能力方面表现更加卓越。此外，在使用体验方面，ChatGLM-6B采用了模型量化技术和本地部署技术，为用户提供更加便利和灵活的使用方式。值得一提的是，该模型还能够在单张消费级显卡上顺畅运行，速度较快，是一款非常实用的对话模型。
ChatGLM-6B部署和微调实例
weixin_45734379的博客
01-17 1930
ChatGLM-6B是本人尝试使用和微调的第一个大语言模型，自我感觉该模型很适合作为大语言模型的入门级选手，无论是部署配置还是推理微调都十分方便。本文主要介绍如何配置部署ChatGLM-6B，以及ChatGLM-6B推理和P-tuning v2微调基本步骤，希望可以帮助大家使用ChatGLM-6B。
【实战指南】轻松上手：部署与应用清华智谱GLM大模型
最新发布
2401_84204413的博客
08-05 844
部署一个自己的大模型，没事的时候玩两下，这可能是很多技术同学想做但又迟迟没下手的事情，没下手的原因很可能是成本太高，近万元的RTX3090显卡，想想都肉疼，又或者官方的部署说明过于简单，安装的时候总是遇到各种奇奇怪怪的问题，难以解决。本文就来分享下我的安装部署经验，包括本地和租用云服务器的方式，以及如何通过API调用大模型开发自己的AI应用，希望能解决一些下不去手的问题。
ChatGLM-6B微调与部署
dzysunshine的博客
05-05 9396
ChatGPT所展现出的强大能力，足以使许多行业发生翻天覆地的变化，而通过微调及部署较小的模型，在一些垂直领域达到和ChatGPT相近的效果，显得尤为重要。本文从模型参数，中文，微调难度等多角度考虑，选取了ChatGLM-6B模型来进行实验，主要分为3个部分：基于ChatGLM-6B的部署，基于peft框架的LoRA微调ChatGLM-6B，基于P-Tuning v2微调ChatGLM-6B（官方）。
Chat-GLM 详细部署（GPU显存＞=12GB）
Kaitiren的专栏
04-10 9621
【代码】Chat-GLM 详细部署（GPU显存>=12GB）
ChatGLM-6B环境部署搭建
labamm的博客
07-02 1591
本地模型启动,需要把从Hugging Face Hub加载改为本地路径加载,在/root/ChatGLM-6B/下的cli_demo.py和web_demo.py文件中进行修改。虚拟环境中，运行nvcc -V返回的是系统cuda版本(/usr/local/cuda)，想要查看虚拟环境的cuda版本，使用print(torch.version.cuda)cuda和pytorch版本关系如下要求 https://pytorch.org/get-started/previous-versions/
ChatGLM-6B部署笔记
weixin_45280299的博客
05-13 1320
本笔记基于ChatGLM-6B开源网站完成ChatGLM的本地部署。首先电脑已经安装python3.10，anaconda，pycharm2022.3，如若使用本地网络会出现安装依赖失败、下载代码文件缓慢等问题，解决方法有两个，一是可以使用清华源安装依赖，下载模型；二是全程使用VPN，本次部署使用的方法是后者。电脑系统 windows 10显卡 A5000 24GB运行 内存128GB。
ChatGLM2-6B 部署
Linux猿
06-21 547
本文主要对 ChatGLM2-6B 模型的部署和推理过程进行介绍。
chatglm-6b源码（不带模型）
10-08
"ChatGLM-6B源码（不带模型）"是一个与自然语言处理相关的软件或插件项目，其核心是ChatGLM模型的实现。ChatGLM，全称为Chat Generative Language Model，是一种用于生成对话的大型语言模型。源代码没有包含预训练的...
ChatGLM3+更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数
01-11
ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性： 更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了...
大模型应用开发：手把手教你部署并使用清华智谱GLM大模型
瓦罗兰特顶级C位的博客
06-21 1264
本文就来分享下我的安装部署经验，包括本地和租用云服务器的方式，以及如何通过API调用大模型开发自己的AI应用，希望能解决一些下不去手的问题。
ChatGLM2-6B安装部署（详尽版）
lovelylord的专栏
08-17 2886
ChatGLM安装详尽版，适合新手，傻瓜式操作
全网最新版ChatGLM-6B开源模型环境详细部署及安装——如何在低显存单显卡上面安装私有ChatGPT GPT-4大语言模型
小胡说人工智能的博客
04-27 1万+
ChatGPT的爆火让许多人都想要开发自己的大型语言模型，但是，由于限制，许多人最终都只能在开发的早期阶段止步不前。近期清华大学发布了对话机器人ChatGLM-6B的开源版本，这个中英文语言模型拥有千亿参数规模，并且对中文进行了优化。本次开源的版本是其60亿参数的小规模版本，仅需要6GB显存就可以在本地部署。这意味着，即使是在普通显卡的电脑上，也可以轻松部署一个类似于GPT的大型语言模型。期待中国版ChatGPT更多的创新和突破！
【工程记录】ChatGLM3-6B 部署的详细教程（Windows）
LZXCyrus的博客
11-23 4775
本文记录ChatGLM3-6B在Windows操作系统中的部署的详细方法。
ChatGLM 4本地部署指南(Docker容器版)
Qinghub‘博客
06-06 5200
GLM-4V-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源多模态版本。 **GLM-4V-9B** 具备 1120 * 1120 高分辨率下的中英双语多轮对话能力，在中英文综合能力、感知推理、文字识别、图表理解等多方面多模态评测中，GLM-4V-9B 都表现出卓越性能。
VisualGLM-6B：支持图像、中英文的多模态对话模型解读与本地化部署
梦坠凡尘
07-03 3564
之后的微调阶段，模型在长视觉问答数据上训练，以生成符合人类偏好的答案。VisualGLM-6B 是一个开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM-6B，具有 62 亿参数；以CogView为例，输入token既包含了文本token，也包含了Image token，所以Transformer既建模了文本也建模了图像，并且建模了文本到图像这种跨模态的过程。在生成图像长描述的时候，距离图像较远时，语言模型的将占主导，有一定可能根据上下文生成并不存在于图像的内容。
大模型实践笔记（1）——GLM-6B实践
在深度学习的路上不断探索
02-02 1277
大模型实践笔记
怎样部署chat glm-6b
06-06
感谢您选择GLM-6B预训练模型进行聊天机器人开发。下面是一个简单的部署流程，以供参考： 1. 首先，您需要安装必要的依赖库，包括 TensorFlow 和 Transformers。您可以使用以下命令来安装这些库： ``` pip install tensorflow==2.5.0 pip install transformers==4.5.1 ``` 2. 接下来，您需要下载GLM-6B预训练模型及其配置文件。您可以从Hugging Face的模型库中下载这些文件： ``` from transformers import AutoTokenizer, TFAutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("microsoft/DialoGPT-medium") model = TFAutoModelForCausalLM.from_pretrained("microsoft/DialoGPT-medium") ``` 在这个例子中，我们使用了 Microsoft 公司发布的 DialoGPT-medium 模型，它的大小为1.5亿参数，比 GLM-6B 小一些。如果您希望使用 GLM-6B 模型，请将上述代码中的 "microsoft/DialoGPT-medium" 替换为 "microsoft/DialoGPT-large"。 3. 一旦您下载了模型和配置文件，您就可以开始编写代码来实现聊天机器人。以下是一个示例代码： ``` from transformers import AutoTokenizer, TFAutoModelForCausalLM import tensorflow as tf # 加载模型和分词器 tokenizer = AutoTokenizer.from_pretrained("microsoft/DialoGPT-medium") model = TFAutoModelForCausalLM.from_pretrained("microsoft/DialoGPT-medium") # 开始聊天 while True: # 获取用户输入 user_input = input("You: ") # 将用户输入编码为输入向量 input_ids = tokenizer.encode(user_input + tokenizer.eos_token, return_tensors='tf') # 生成回复 outputs = model.generate(input_ids=input_ids, max_length=1000, pad_token_id=tokenizer.eos_token_id) bot_reply = tokenizer.decode(outputs[0], skip_special_tokens=True) # 输出回复 print("Bot:", bot_reply) ``` 在这个代码中，我们使用了 TensorFlow 2.x 版本的 API。我们首先加载了模型和分词器，然后在一个无限循环中获取用户输入，并使用模型生成回复。最后，我们将回复输出到控制台。 4. 最后，您可以将代码部署到您的服务器或云计算平台上，以便用户可以与您的聊天机器人进行交互。 需要注意的是，这只是一个简单的部署流程，实际情况可能会更加复杂。如果您在部署过程中遇到了问题，可以参考 Transformers 的文档或在社区中寻求帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值