3分钟在趋动云上快速部署ChatGLM3-6B
一、账号注册
打开趋动云算力平台注册链接:https://growthdata.virtaicloud.com/t/tA ,填写相关注册信息并进行注册
二、创建项目
点击左上角的当前空间
切换到自己刚刚创建账号后默认的那个用户空间
点击创建项目
填写项目相关信息
项目名称
:可自定义,如 “ChatGLM3-6B”。镜像
:选择 公开 下的 chatglm3-6b(作者为 “趋动云小助手”)模型
:选择 公开 下的 chatglm3-6b(作者为 “趋动云小助手”)。
三、算力资源配置
点击运行代码
,选择对应的算力资源并开放web访问端口
资源配置
:选择 B1.large开放端口
:开放 8051 端口,备注 chatglm3-6b 网页形式访问
四、体验ChatGLM3-6B
从gitee克隆ChatGLM3-6B,复制以下代码在终端中运行
cd /gemini/code/
git clone https://gitee.com/a-strong-python/ChatGLM3.git
cd ChatGLM3/
sed -i 's/demo.launch(server_name="127.0.0.1", server_port=7870, inbrowser=True, share=False)/demo.launch(server_name="0.0.0.0", server_port=8501, inbrowser=True, share=True)/g' basic_demo/web_demo_gradio.py
执行如下命令,部署基于 gradio 的网页版对话demo,将运行后的 gradio 网址在浏览器中打开,即可体验ChatGLM3-6B的对话能力
export MODEL_PATH='/gemini/pretrain'
python basic_demo/web_demo_gradio.py
体验完毕后记得及时关闭项目,防止算力资源的浪费
五、更多
学习更多ChatGLM3-6B的能力,可以访问:THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型 (github.com)