GpuMall智算云：THUDM/ChatGLM3/ChatGLM3

1. 通过该镜像创建实例

训练 ChatGLM3-6B 模型，显卡显存建议选择等于大于 16GB 以上的显卡，因为 ChatGLM3-6B 模型载入后会占用大约 13GB 左右显卡显存。

GpuMall智算云 | 省钱、好用、弹性。租GPU就上GpuMall,面向AI开发者的GPU云平台

2. 扩容数据盘

因 ChatGLM3-6B 模型占用空间大小为 24GB，实例数据盘默认空间为 20G 不足以存储 ChatGLM3-6B模型，所以这里建议扩容数据盘到 30G。

3. 通过Jupyterlab登录实例

4. 复制模型到实例数据盘

#查看网盘中都有哪些模型
ls /gm-models/

#复制ChatGLM3-6B模型到/gm-data/目录下（实例数据盘）
cp -rf /gm-models/chatglm3-6b /gm-data/

5. 启动 ChatLM3-6B

ChatGLM3-6B 支持如下几种启动方式：

#执行启动脚本会打印支持的几种启动方式
/root/ChatGLM3/start.sh 
 
          支持如下几种启动方式，根据您需要选择一种启动方式即可:
                方式一): Web 网页版对话，通过 Gradio 所生成的地址进行公网访问(国内网络访问可能稍慢),监听8501端口
                /root/ChatGLM3/start.sh web_gradio

                方式二): Web 网页版对话，通过 GpuMall 平台自定义服务方式进行公网访问,监听8501端口
                /root/ChatGLM3/start.sh web_streamlit

                方式三): 命令行对话，该选项可在命令行与 ChatGLM3-6B 进行交互对话
                /root/ChatGLM3/start.sh terminal

                方式四): API 接口方式启动，对该接口进行调用，调用地址通过 GpuMall 平台自定义服务方式所提供的公网地址进行调用
                /root/ChatGLM3/start.sh openapi

下面会依此演示以上四种启动和通过外网访问方式，根据自己需求选择任意一种即可（通过 API 调用访问方式用的较多）。

5.1 通过Gradio启动

通过 Gradio 方式启动，Gradio 会自动创建一个公网访问链接。#autodl#恒源云#矩池云#算力云#恒源云 实例迁移#autodl 官网#autodi#GpuMall#GPU云#AutoDL#AotuDL 算力云#GpuMall智算云#AI#大数据#算力租赁#大模型#深度学习#人工智能#算力变现

/root/ChatGLM3/start.sh web_gradio
Loading checkpoint shards: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:03<00:00,  2.15it/s]
Running on local URL:  http://127.0.0.1:8501
Running on public URL: https://db38a70cf751892d5e.gradio.live		#复制该链接，该链接为Gradio自动生成的公网访问地址，有效期是72个小时

This share link expires in 72 hours. For free permanent hosting and GPU upgrades, run `gradio deploy` from Terminal to deploy to Spaces (https://huggingface.co/spaces)

复制上述链接到浏览器进行访问使用

5.2 网页版启动

启动网页版，然后通过 GpuMall 平台的自定义服务进行访问

/root/ChatGLM3/start.sh web_streamlit

Collecting usage statistics. To deactivate, set browser.gatherUsageStats to False.


  You can now view your Streamlit app in your browser.

  Network URL: http://172.17.0.6:8501
  External URL: http://61.243.114.254:8501

启动后到 GpuMall 实例管理控制台，点击【更多】-【创建自定义端口】

输入 8501，因为实例中的 ChatGLM3-6B 项目监听 8501 端口，然后点击确定。

然后点击 【自定义服务】 跳转到公网访问网页地址。

5.3 命令行启动对话

/root/ChatGLM3/start.sh terminal

Loading checkpoint shards: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:02<00:00,  2.52it/s]
欢迎使用 ChatGLM3-6B 模型，输入内容即可进行对话，clear 清空对话历史，stop 终止程序

用户：你好，GpuMall平台提供什么服务

ChatGLM：你好！GpuMall是一个人工智能助手，关于GpuMall平台提供什么服务，由于我只能根据我的训练数据回答，我无法提供最新的信息。但是，根据我了解的信息，GpuMall可能是一个提供GPU租用服务的平台，为用户提供高性能的图形处理能力。具体的服務內容和特色，建議您直接访问GpuMall的官方网站或者联系他们的客服获取更详细的信息。

5.4 API接口方式启动

执行如下命令启动 API 方式 ChatGLM3-6B 模型，启动后默认监听 8000 端口

/root/ChatGLM3/start.sh openapi
Loading checkpoint shards: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:03<00:00,  2.20it/s]
INFO:     Started server process [2296]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)

启动后到 GpuMall 实例管理控制台，点击【更多】 - 【创建自定义端口】

输入 8000，因为实例中的 ChatGLM3-6B 项目监听 8000 端口，然后点击确定。

然后点击 【自定义端口】 来获取公网调用 API 地址

跳转后浏览器中的 URL 地址就是 API 的公网地址。