丹摩征文活动| ChatGLM-6B模型深度探索:从零开始的部署指南与实战应用全面解析


SD3+ComfyUI文生图部署步骤

  • ChatGLM-6B,作为清华大学和智谱AI联合开源的对话语言模型,凭借其GLM架构、62亿参数的规模、卓越的语言理解和生成能力,以及开源的特性,已经在学术界和工业界掀起了广泛讨论与应用热潮。本文旨在全面介绍如何借助DAMODEL深度学习平台,高效地部署ChatGLM-6B模型,并通过Web API的形式,实现本地代码与服务端模型的流畅对话交互。

本篇将介绍使用 DAMODEL 深度学习平台部署 ChatGLM-6B 模型,然后通过 Web API 的形式使用本地代码调用服务端的模型进行对话。

DAMODEL-ChatGLM-6B 服务端部署

  • DAMODEL(丹摩智算)是专为 AI 打造的智算云,致力于提供丰富的算力资源与基础设施助力 AI 应用的开发、训练、部署。

1.1、实例创建

在这里插入图片描述

  • 进入创建页面后,首先在实例配置中首先选择付费类型为按量付费,其次选择单卡启动,然后选择需求的 GPU 型号,本次实验可以选择选择:按量付费--GPU 数量 1--NVIDIA-GeForc-RTX-4090,该配置为 60GB 内存,24GB 的显存

在这里插入图片描述

  • 继续往下翻,配置数据硬盘的大小,每个实例默认附带了 50GB 的数据硬盘,本次创建可以就选择默认大小 50GB,可以看到,平台提供了一些基础镜像供快速启动,镜像中安装了对应的基础环境和框架,这里选择 PyTorch1.13.1 的框架启动,也可以选择 PyTorch2.1.2 版本启动。

点击创建密钥对,输入自定义的名称,创建好密钥对后,选择刚刚创建好的密钥对,并点击立即创建,等待一段时间后即可启动成功!

1.2、模型准备

  • 启动环境后,打开终端,用 git 克隆ChatGLM-6B项目,若遇到github连接超时,可以选择gitcode站点,或者离线下载并上传到项目中。
cd /home/aistudio/work/
git clone https://github.com/THUDM/ChatGLM-6B.git
# 如果遇见github因为网络问题导致失败,可选择gitcode站点进行下载
# git clone https://gitcode.com/applib/ChatGLM-6B.git

成功克隆项目后,会显示如下文件夹:
在这里插入图片描述

cd 进入该文件夹,使用 pip 安装项目依赖:

pip install -r requirements.txt

可以看到 DAMODEL 平台环境依赖的下载安装速度可以达到 18MB/s 以上,非常迅速,等待片刻显示如下 Successfully installed 则说明依赖安装完成!
在这里插入图片描述

依赖安装成功后,我们需要引入模型文件,比较方便的是,DAMODEL(丹摩智算)提供了数据上传功能,用户有 20GB 免费存储空间,该空间被挂载到实例的/root/shared-storage目录,跨实例共享。

这里首先点击文件存储,点击上传文件。
在这里插入图片描述

然后下载 Hugging Face 上的 ChatGLM-6B 预训练模型,也可以进入魔塔社区选择Chatglm3-6B里的所有文件进行下载。

然后将下载下来的模型文件及配置进行上传并解压,上传时尽量保持该界面首页显示,等待上传成功后再进行其他操作。
在这里插入图片描述

1.3、模型启动

上传好预训练模型及解压后,我们就可以去启动 python 脚本运行了,ChatGLM-6B 提供了cli_demo.py和web_demo.pys两个文件来启动模型,第一个是使用命令行进行交互,第二个是使用本机服务器进行网页交互。 由于要使用本地模型启动,所以我们需要把从 Hugging Face Hub 加载改为本地路径加载,打开cli_demo.py和web_demo.py文件,将这两行代码改为从本地文件目录加载预训练模型。
在这里插入图片描述

然后在终端输入 pythoncli_demo.py就可以成功启动模型了,在cli_demo.py中,main函数启动一个无限循环,等待用户输入。用户可以输入文本与模型进行对话,或输入"clear"清空对话历史并清除屏幕,或输入"stop"退出程序。对于正常的对话输入。 启动模型后的效果如下图所示:

在这里插入图片描述

也可以在终端输入python web_demo.py,通过 Web 界面与模型进行交互。
在这里插入图片描述

不过由于 Jupyter 的限制,无法直接打开访问服务器的127.0.0.1:7860网页端交互界面,这里可以利用 MobaXterm 建立 ssh 隧道,实现远程端口到本机端口的转发。首先打开 tunneling,新建 SSH 通道,填入 ssh 的相关配置,并将 7860 通道内容转发到本机,点击 start 开始转发:
在这里插入图片描述

转发成功后,就可以成功在网页与模型进行交互了,效果如下:
在这里插入图片描述


评论 13
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值