山东大学软件学院项目实训-创新实训-时空漫游（六）

ChatGLM3 API调用方式

1. 部署

可以通过运行openai_api_demo下的api_server.py进行部署

cd openai_api_demo
python api_server.py

记得修改模型权重和向量模型路径。

运行后发现报错信息如下

Could not locate the tokenization_chatglm.py inside THUDM/chatglm3-6b.

查阅资料后找到解决办法，将chatglm3-6b文件夹下的tokenizer_config.json文件中的THUDM/chatglm3-6b--tokenization_chatglm.ChatGLMTokenizer 改成tokenization_chatglm.ChatGLMTokenizer

更改后，再次运行，发现运行成功，模型服务成功运行在8000端口

2. 调用

我新建了一个项目进行api调用测试。model_name输入chatglm3-6b。

运行后出现如下网页demo。可以与chatglm3-6b进行对话。