在AutoDL平台部署ChatGLM3-6B(0基础小白超详细教程)

已于 2024-01-24 13:53:28 修改
阅读量2.3k 收藏 37
点赞数 14
文章标签： 语言模型 gpt
于 2024-01-22 17:31:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_68531269/article/details/135747460
版权

在AutoDL平台部署ChatGLM3-6B超详细教程

一、注册AutoDL

AutoDL官网 注册账户好并充值
在这里插入图片描述

二、创建实例

2.1 登录AutoDL，进入算力市场，选择RTX 4090机器。

在这里插入图片描述

2.2 配置基础镜像

在这里插入图片描述

2.3. 无卡模式开机

创建成功后为了省钱先关机，然后使用无卡模式开机。
无卡模式一个小时只需要0.1元，比较适合部署环境。
在这里插入图片描述

三、部署环境

3.1 进入终端

打开jupyterLab，进入数据盘（autodl-tmp），打开终端，将ChatGLM3-6B模型下载到数据盘中。
在这里插入图片描述
在这里插入图片描述

3.2 下载模型文件

进入Hugging Face上的chatglm3-6b的模型仓库地址下载模型文件
在这里插入图片描述
安装git lfs

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs

在这里插入图片描述

下载模型文件（模型二十多G，需慢慢等待）

注意：先设置学术资源加速

source /etc/network_turbo

git lfs install
git clone https://huggingface.co/THUDM/chatglm3-6b

下载模型文件很慢，可以停止下载，此时在/autodl-tmp/chatglm3-6b/目录下载主要的模型文件
在这里插入图片描述
复制这些文件的地址，在/autodl-tmp/chatglm3-6b/目录下，使用wget下载(非常的快)
在这里插入图片描述

wget https://huggingface.co/THUDM/chatglm3-6b/resolve/main/model-00001-of-00007.safetensors
wget https://huggingface.co/THUDM/chatglm3-6b/resolve/main/model-00002-of-00007.safetensors
wget https://huggingface.co/THUDM/chatglm3-6b/resolve/main/model-00003-of-00007.safetensors
wget https://huggingface.co/THUDM/chatglm3-6b/resolve/main/model-00004-of-00007.safetensors
wget https://huggingface.co/THUDM/chatglm3-6b/resolve/main/model-00005-of-00007.safetensors
wget https://huggingface.co/THUDM/chatglm3-6b/resolve/main/model-00006-of-00007.safetensors
wget https://huggingface.co/THUDM/chatglm3-6b/resolve/main/model-00007-of-00007.safetensors

wget https://huggingface.co/THUDM/chatglm3-6b/resolve/main/pytorch_model-00001-of-00007.bin
wget https://huggingface.co/THUDM/chatglm3-6b/resolve/main/pytorch_model-00002-of-00007.bin
wget https://huggingface.co/THUDM/chatglm3-6b/resolve/main/pytorch_model-00003-of-00007.bin
wget https://huggingface.co/THUDM/chatglm3-6b/resolve/main/pytorch_model-00004-of-00007.bin
wget https://huggingface.co/THUDM/chatglm3-6b/resolve/main/pytorch_model-00005-of-00007.bin
wget https://huggingface.co/THUDM/chatglm3-6b/resolve/main/pytorch_model-00006-of-00007.bin
wget https://huggingface.co/THUDM/chatglm3-6b/resolve/main/pytorch_model-00007-of-00007.bin

在这里插入图片描述
模型下载完成,仔细比对不能少必要文件
在这里插入图片描述

四、ChatGLM3项目

4.1 环境安装

github项目地址

在/root下打开终端，执行

git clone https://github.com/THUDM/ChatGLM3.git
cd ChatGLM3

然后使用 pip 安装依赖：

pip install -r requirements.txt

4.2 网页版对话 Demo

修改/ChatGLM3/basic_demo/web_demo_gradio.py的25行，将MODEL_PATH修改为上边下载好的本地路径
在这里插入图片描述

MODEL_PATH = os.environ.get('MODEL_PATH', r'/root/autodl-tmp/chatglm3-6b')

设置gradio的参数，server_port=6006，然后点击控制台面的 自定义服务，就可以了。

在这里插入图片描述

demo.queue()
demo.launch(server_name="127.0.0.1", server_port=6006, inbrowser=True, share=False)

环境部署已完成

4.3 有卡开机

进入autodl容器实例界面，执行关机操作，然后进行有卡开机，开机后打开jupyterLab。
查看配置

nvidia-smi

在这里插入图片描述

VSCode连接远程开发
在这里插入图片描述

4.4 运行网页版对话demo

需要有卡模式开机，执行下边命令

cd /root/ChatGLM3/basic_demo/
python web_demo_gradio.py

测试
在这里插入图片描述

4.5 综合Demo

README

首先进行有卡开机，设置环境变量

export MODEL_PATH=/root/autodl-tmp/chatglm3-6b/

运行以下命令在本地加载模型并启动 demo：

cd /root/ChatGLM3/composite_demo/
streamlit run main.py --server.port 6006

设置ssh隧道:
使用SSH将实例中的端口代理到本地，具体步骤为：

  • Step.1 在实例中启动您的服务（比如您的服务监听6006端口，下面以6006端口为例）

  • Step.2 在本地电脑的终端(cmd / powershell / terminal等)中执行代理命令：

    ssh -CNg -L 6006:127.0.0.1:6006 root@123.125.240.150 -p 42151

    其中root@123.125.240.150和42151分别是实例中SSH指令的访问地址与端口，请找到自己实例的ssh指令做相应替换。6006:127.0.0.1:6006是指代理实例内6006端口到本地的6006端口。

    注意：执行完这条ssh命令，没有任何日志是正常的，只要没有要求重新输入密码或错误退出
    在这里插入图片描述

  • Step.3 在本地浏览器中访问http://127.0.0.1:6006即可打开服务，注意这里的6006端口要和上述6006:127.0.0.1:6006中的端口保持一致

4.6 使用:

ChatGLM3 Demo 拥有三种模式：

  • Chat: 对话模式，在此模式下可以与模型进行对话。
  • Tool: 工具模式，模型除了对话外，还可以通过工具进行其他操作。
  • Code Interpreter: 代码解释器模式，模型可以在一个 Jupyter 环境中执行代码并获取结果，以完成复杂任务。

对话模式:

对话模式下，用户可以直接在侧边栏修改 top_p, temperature, System Prompt 等参数来调整模型的行为。例如
在这里插入图片描述

工具模式：
可以通过在tool_registry.py中注册新的工具来增强模型的能力。只需要使用 @register_tool 装饰函数即可完成注册。对于工具声明，函数名称即为工具的名称，函数 docstring 即为工具的说明；对于工具的参数，使用 Annotated[typ: type, description: str, required: bool] 标注参数的类型、描述和是否必须。

例如，get_weather 工具的注册如下：

@register_tool
def get_weather(
    city_name: Annotated[str, 'The name of the city to be queried', True],
) -> str:
    """
    Get the weather for `city_name` in the following week
    """
    ...

在这里插入图片描述
此外，你也可以在页面中通过 Manual mode 进入手动模式，在这一模式下你可以通过 YAML 来直接指定工具列表，但你需要手动将工具的输出反馈给模型。

代码解释器模式：
由于拥有代码执行环境，此模式下的模型能够执行更为复杂的任务，例如绘制图表、执行符号运算等等。模型会根据对任务完成情况的理解自动地连续执行多个代码块，直到任务完成。因此，在这一模式下，你只需要指明希望模型执行的任务即可。

例如，我们可以让 ChatGLM3 画一个爱心：
在这里插入图片描述

xuxiaoxu1
关注
  • 14
    点赞
  • 踩
  • 37
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
零基础自建Stable Diffusion绘图教程-AutoDL
07-06
零基础自建Stable Diffusion绘图教程——AutoDL，创建Al绘画环境，了解控制台，创建Stable Diffusion绘图环境
手把手带你在AutoDL上部署ChatGLM3 Web Demo
KMOn4的博客
11-19 577
作者：[Datawhale 不要葱姜蒜](https://github.com/KMnO4-zx) 项目地址：https://github.com/KMnO4-zx/self_llm.git 如果大家有其他模型想要部署教程，可以来仓库提交issue哦~ 也可以自己提交PR！
在AutoDL平台部署ChatGLM3-6B Code Interpreter
KMOn4的博客
11-19 289
作者：Datawhale 不要葱姜蒜 项目地址：https://github.com/KMnO4-zx/self_llm.git 如果大家有其他模型想要部署教程，可以来仓库提交issue哦~ 也可以自己提交PR！
开源模型ChatGLM3本地安装部署
penngo的专栏
03-28 1848
开源模型ChatGLM3本地安装部署
【chatglm3】（3）：在AutoDL上，使用4090显卡，部署ChatGLM3API服务，并微调AdvertiseGen数据集，完成微调并测试成功！附视频演示。
freewebsys的专栏
11-13 3392
载处理好的 AdvertiseGen 数据集，将解压后的 AdvertiseGen 目录放到本目录下。对于输入输出格式的微调，可使用 inference.py 进行基本的推理验证。AdvertiseGen以商品网页的标签与文案的信息对应关系为基础构造。来下载和将数据集处理成上述格式。完全可以满足内部使用了。
ChatGLM2-6B微调教程，AutoDL云平台部署，含报错解析，最全最细最稳！
Bradley_xu的博客
02-06 1565
ChatGLM2-6B云端Autodl微调教程，最全最细，包含报错解析！
AutoDL服务器huggingface模型下载到.cache了怎么办
Karl_Wayne的博客
12-22 1110
简而言之，local_dir里只有符号链接，真正的模型文件在.cache里。所以很容易想到把.cache里的文件移到数据盘，然后修改符号链接至新地址。
LLMs之ChatGLM3：ChatGLM3/ChatGLM3-6B的简介—“对话格式”功能介绍(推理系统如何解析参数/采用Python代码形式/编写工具调用的代码/Manual Mode)、推理演示
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
11-10 4303
​ LLMs之ChatGLM3：ChatGLM3/ChatGLM3-6B的简介—“对话格式”功能介绍(推理系统如何解析参数/采用Python代码形式/编写工具调用的代码/Manual Mode)、推理演示(Chat/Tool/Code Interpreter)、微调(AdvertiseGen/ToolAlpaca)实现之图文教程攻略 目录 相关文章 ChatGLM3的“对话格式”功能的简介及其使用方法 ChatGLM3的推理演示 ChatGLM3的微调
本地部署清华大模型 ChatGLM3
热门推荐
王清欢的博客
11-03 2万+
ChatGLM 是一个开源的、支持中英双语的对话语言模型，由智谱 AI 和清华大学 KEG 实验室联合发布，基于 General Language Model (GLM) 架构，具有 62 亿参数。ChatGLM3-6B 更是在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上增加了更多特性。 虽然，目前 ChatGLM 比 GPT 稍有逊色，但是，在部署后可以完全本地运行，完全由自己掌控！本文介绍怎么在 Linux 服务上部署 ChatGLM3 服务，并通过多种方式使用本地部署地大模型。
离线AI聊天清华大模型(ChatGLM3)本地搭建
寒冰屋的专栏
12-29 2758
在特定的情况下，要保证信息安全的同时还能享受到AIGC大模型带来的乐趣和功能，那么，离线部署就能帮助到你，最起码，它是一个真正可用的方案。 大模型本身清华的 (ChatGLM3)，为的是对中文支持友好，另外就是我也很看好它，毕竟一直在优化自己的模型，提升模型的质量。
【ChatGLM3】第三代大语言模型多GPU部署指南
太空眼睛的专栏
12-08 4127
经过测试对比，ChatGLM3比ChatGLM2强大了很多很多，可以在一定程度上满足商用ChatGLM系列大模型的迭代速度还是比较快的，可以感受到研究人员的努力一款优秀的具有自主知识产权的国产大模型，数据安全有保障，有活跃的社区，有越来越丰富的文档资料希望ChatGLM可以早日超越ChatGPT。
ChatGLM3简介
qq128252的博客
11-28 1049
ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性：**更强大的基础模型：**ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能。
大华webdemo
11-06
这个是参考的一个web版的demo，如果仅仅是实现监控的查看是可以实现的，如果要实现控制和画面回放请等待新的资料更新
autodl-trackers：autodl-irssi的autodl-community分支的跟踪器文件
02-02
autodl-trackers：autodl-irssi的autodl-community分支的跟踪器文件
chatglm3多轮对话训练数据
最新发布
04-06
chatglm3多轮对话训练数据，包含原始数据、处理代码、train.json、...使用训练命令：CUDA_VISIBLE_DEVICES=1 python finetune_hf.py data/JDMulConversations/ /root/autodl-tmp/model/chatglm3-6b configs/lora.yaml
autodl-rutorrent：ruTorrent插件，用于autodl-irssi的autodl-community分支
02-04
autodl-rutorrent 是ruTorrent用来监视和配置的插件。 入门 中提供了安装说明 支持 参见 。 升值 始终表示赞赏。 谢谢 有助于 通过提交错误报告，功能请求或代码来。 帮助他人/保持知情 IRC： irc.p2p-network.net...
本地打开autodl的stable-diffusion-webui,自动SSH连接
10-20
解压 在autodl的jupyter里启动 双击laucher.py启动
ChatGLM3——基于AutoDl平台的部署及LorA微调实践
s44274575的博客
11-26 3650
本文旨在记录项目的进度及试错过程，本文根据清华大学的开源项目ChatGLM3进行实现，本次实现基于AutoDl的GPU算力平台(相交便宜)的ubuntu操作系统，使用pytorch2.1.1 ， python3.10.12 （建议大于3.10）,cuda版本为11.8。如有问题欢迎指出！
ChatGLM3-6B模型的部署与微调
qq_46348508的博客
12-07 1711
本文记录在AutoDL平台上部署和微调ChatGLM3-6B模型的过程。
autodl配置环境
08-17
要配置AutoDL的环境，您可以按照以下步骤进行操作： 1. 确保您的服务器上有正常可运行的Python环境。可以通过在PyCharm中打开项目，然后转到File -> Setting -> Project -> Python Interpreter来检查。 2. 在PyCharm中，单击右上方的小齿轮，选择"Add"以添加一个新的Python解释器。 3. 在弹出的窗口中，选择"SSH Interpreter"，然后选择"Existing server configuration"并选择您配置的SSH连接。 4. 单击"Next"，在"Interpreter"字段中输入Python的路径。请注意，这里的路径可能是在您配置的虚拟环境下的Python路径。 5. 单击"Finish"来完成SSH解释器的配置。 现在，您已经成功配置了AutoDL的环境，可以在PyCharm中使用SSH和SFTP连接远程服务器，将本地项目上传到服务器，并配置远程解释器。此外，您还可以使用PyCharm访问远程服务器的终端。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [AutoDL租用实例、配置环境、Pycharm中SSH、SFTP连接远程服务器、Pycharm访问远程服务器终端](https://blog.csdn.net/m0_46204067/article/details/129474469)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值