记录驱动云GPU跑chatGLM实践过程

@TOC驱动云部署ChatGLM3-6B模型

记录免费GPU跑chatGLM实践过程，完整datawhale教程如下。

datawhale学习教程

https://datawhaler.feishu.cn/docx/BwjzdQPJRonFh8xeiSOcRUI3n8b
使用ChtaGLM3-6B模型

基本配置

Pytorch 2.0.1
python 3.9

流程

基本配置：
apt-get update && apt-get install unzip

git config --global url.“https://gitclone.com/”.insteadOf https:// pip config set global.index-url https://pypi.virtaicloud.com/repository/pypi/simple
python3 -m pip install --upgrade pip

git clone https://github.com/THUDM/ChatGLM3.git
cd ChatGLM3

->->->
依赖配置在requirement.txt中
->->->

pip install -r requirements.txt
pip install peft

->->->
第一次运行web_demo_gradio.py时候报错：ModuleNotFoundError: No module named ‘peft’
返回ChatGLM3文件夹重新pip install peft
->->->

更改模型python文件：
web_demo_gradio.py
（a）更改模型路径为当前模型所在位置：/gemini/pretrain
（b）修改启动服务器，端口设置
demo.queue().launch(share=False, server_name=“0.0.0.0”,server_port=7000)

添加外部端口映射

运行gradio界面

cd basic_demo
python web_demo_gradio.py

streamlit界面

更改模型python文件：
web_demo_streamlit.py， 更改模型路径为当前模型所在位置：/gemini/pretrain
通过streamlit运行模型：
streamlit run web_demo_streamlit.py --server.port 7000

复制外部访问链接在浏览器中，然后模型在终端中开始加载，加载100%完成后刷新浏览器外部链接，可访问的simple demo.

结束进程

完成测试后记得点击环境信息右边的停止icon！！！

NB

（a）注意选择合适的torch,python 版本
（b）运行预训练模型报错根据报错信息进行相关配置
（c）熟悉驱动云的使用