在ChatGLM中我们已经有现成的代码,但是我们不能直接使用,因为它使用的是huggingface直接拉取,因此我们需要对其进行改动,代码如下:
api_server.py就是配置api的
我们将模型路径改成我们自己的:
特别的,Embedding路径因为无法访问huggingface也无法下载,我们将其保存到本地:
配置完成
我们发现暴露的域名如下:
启动该函数,将其改为我们自己的路径
经过post访问尝试
后台收到请求
尝试连接入系统,返回消息可选流式和完整
在ChatGLM中我们已经有现成的代码,但是我们不能直接使用,因为它使用的是huggingface直接拉取,因此我们需要对其进行改动,代码如下:
api_server.py就是配置api的
我们将模型路径改成我们自己的:
特别的,Embedding路径因为无法访问huggingface也无法下载,我们将其保存到本地:
配置完成
我们发现暴露的域名如下:
启动该函数,将其改为我们自己的路径
经过post访问尝试
后台收到请求
尝试连接入系统,返回消息可选流式和完整