1. 通过该镜像创建实例
训练
ChatGLM3-6B
模型,显卡显存建议选择等于大于16GB
以上的显卡,因为ChatGLM3-6B
模型载入后会占用大约13GB
左右显卡显存。
2. 扩容数据盘
因
ChatGLM3-6B
模型占用空间大小为24GB
,实例数据盘默认空间为20G
不足以存储ChatGLM3-6B
模型,所以这里建议扩容数据盘到30G
。
3. 通过Jupyterlab登录实例
4. 复制模型到实例数据盘
#查看网盘中都有哪些模型
ls /gm-models/
#复制ChatGLM3-6B模型到/gm-data/目录下(实例数据盘)
cp -rf /gm-models/chatglm3-6b /gm-data/
5. 启动 ChatLM3-6B
ChatGLM3-6B 支持如下几种启动方式:
#执行启动脚本会打印支持的几种启动方式
/root/ChatGLM3/start.sh
支持如下几种启动方式,根据您需要选择一种启动方式即可:
方式一): Web 网页版对话,通过 Gradio 所生成的地址进行公网访问(国内网络访问可能稍慢),监听8501端口
/root/ChatGLM3/start.sh web_gradio
方式二): Web 网页版对话,通过 GpuMall 平台自定义服务方式进行公网访问,监听8501端口
/root/ChatGLM3/start.sh web_streamlit
方式三): 命令行对话,该选项可在命令行与 ChatGLM3-6B 进行交互对话
/root/ChatGLM3/start.sh terminal
方式四): API 接口方式启动,对该接口进行调用,调用地址通过 GpuMall 平台自定义服务方式所提供的公网地址进行调用
/root/ChatGLM3/start.sh openapi
下面会依此演示以上四种启动和通过外网访问方式,根据自己需求选择任意一种即可(通过 API
调用访问方式用的较多)。
5.1 通过Gradio启动
通过 Gradio
方式启动,Gradio 会自动创建一个公网访问链接。#autodl#恒源云#矩池云#算力云#恒源云 实例迁移#autodl 官网#autodi#GpuMall#GPU云#AutoDL#AotuDL 算力云#GpuMall智算云#AI#大数据#算力租赁#大模型#深度学习#人工智能#算力变现
/root/ChatGLM3/start.sh web_gradio
Loading checkpoint shards: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:03<00:00, 2.15it/s]
Running on local URL: http://127.0.0.1:8501
Running on public URL: https://db38a70cf751892d5e.gradio.live #复制该链接,该链接为Gradio自动生成的公网访问地址,有效期是72个小时
This share link expires in 72 hours. For free permanent hosting and GPU upgrades, run `gradio deploy` from Terminal to deploy to Spaces (https://huggingface.co/spaces)
复制上述链接到浏览器进行访问使用
5.2 网页版启动
启动网页版,然后通过 GpuMall
平台的自定义服务进行访问
/root/ChatGLM3/start.sh web_streamlit
Collecting usage statistics. To deactivate, set browser.gatherUsageStats to False.
You can now view your Streamlit app in your browser.
Network URL: http://172.17.0.6:8501
External URL: http://61.243.114.254:8501
启动后到 GpuMall
实例管理控制台,点击【更多】-【创建自定义端口】
输入 8501
,因为实例中的 ChatGLM3-6B
项目监听 8501
端口,然后点击确定。
然后点击 【自定义服务】 跳转到公网访问网页地址。
5.3 命令行启动对话
/root/ChatGLM3/start.sh terminal
Loading checkpoint shards: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:02<00:00, 2.52it/s]
欢迎使用 ChatGLM3-6B 模型,输入内容即可进行对话,clear 清空对话历史,stop 终止程序
用户:你好,GpuMall平台提供什么服务
ChatGLM:你好!GpuMall是一个人工智能助手,关于GpuMall平台提供什么服务,由于我只能根据我的训练数据回答,我无法提供最新的信息。但是,根据我了解的信息,GpuMall可能是一个提供GPU租用服务的平台,为用户提供高性能的图形处理能力。具体的服務內容和特色,建議您直接访问GpuMall的官方网站或者联系他们的客服获取更详细的信息。
5.4 API接口方式启动
执行如下命令启动 API
方式 ChatGLM3-6B
模型,启动后默认监听 8000
端口
/root/ChatGLM3/start.sh openapi
Loading checkpoint shards: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:03<00:00, 2.20it/s]
INFO: Started server process [2296]
INFO: Waiting for application startup.
INFO: Application startup complete.
INFO: Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
启动后到 GpuMall
实例管理控制台,点击【更多】 - 【创建自定义端口】
输入 8000
,因为实例中的 ChatGLM3-6B
项目监听 8000
端口,然后点击确定。
然后点击 【自定义端口】 来获取公网调用 API
地址
跳转后浏览器中的 URL
地址就是 API
的公网地址。