ChatGLM是一个基于GLM模型的对话生成系统。它使用了预训练的语言模型,并通过微调来生成有逻辑和连贯性的对话回复。ChatGLM可以用于各种对话场景,如智能客服、聊天机器人等。它是一个开源项目,你可以通过GitHub上的ChatGLM仓库进行查看和使用。
1.购买一个GPU服务器,显存>24G,镜像选择pytorch的最高版本。
(我用的是https://www.lanrui-ai.com/),在创建实例时,可以提前预选ai模型,直接选择chatglm,它会自动下载到服务器,节省时间,当然我也会会告诉你们怎么去手动下载模型。
2.启动实例后打开jupyter notebook操作,首先检查gpu驱动和torch框架是否存在。只要版本匹配,就行
3.下载chatglm项目文件,直接git
git clone <https://github.com/THUDM/ChatGLM-6B.git>
4.打开项目文件夹,并安装依赖库。
cd ChatGLM-6B
pip install -r requirements.txt
5.从hugging face下载chatglm-6B模型文件
git clone https://huggingface.co/THUDM/chatglm-6b
如果下载速度慢,参考https://zhuanlan.zhihu.com/p/475260268文章《如何优雅的下载huggingface-transformers模型》
到此所有需要安装的都已就绪,开始启动
6.chatglm有多种启动方式,可以直接使用
1.如果启动web版的Domo的话,需要先安装gradio
pip install gradio==3.40
个人建议使用3.42以下的版本,过高会出现一些小问题
接下来打开web_demo.py
默认有一处代码是demo.queue().launch(share=False, inbrowser=True)
修改为
demo.queue().launch(share=True, inbrowser=True)
启动
python web_demo.py
2.使用命令行启动
python cli_demo.py
3.api的方式启动(如果你需要部署到服务器应用)
pip install fastapi uvicorn
python api.py
本地通过post请求发送
curl -X POST "<http://127.0.0.1:8000>" \\
-H 'Content-Type: application/json' \\
-d '{"prompt": "你好", "history": []}'
2023.10.15记录