Chatglm3-6B模型如何对接到企微

Chatglm3-6B模型如何对接到企微

一.先注册个人企业微信

1.点击个人头像然后左击有个管理企业，

2.然后进入到后台，在应用管理中的自建新建一个开发的应用

3.创建应用中按照提示创建应用logo,应用名称，以及可见范围中的可见部门/成员（必填项）

4.创建好之后进入到应用中，这里有几个点是需要了解，方便后期使用，AgentId，Secret，接收信息（URL,Token,EncodingAESKey）,企业可信IP

二.我这边使用的是算力云服务器（AutoDL）

1.租服务器选择西北区和内蒙古地区的服务器然后进入到后台，我这边因为对接的GLM3模型所以我租的服务器选择的是RTX 4090服务器，在基础镜像选择PyTorch版本2.0.0，python3.8(ubuntu20.04)，Cuda版本选择11.8，这些准备就绪然后开始下载模型。

三.wechat项目的下载

地址如下https://github.com/lewisliuyi/chatgpt-on-wechat，下载好之后开始安装依赖项

(1) 克隆项目代码：

git clone https://github.com/zhayujie/chatgpt-on-wechat
cd chatgpt-on-wechat/

(2) 安装核心依赖 (必选)：能够使用itchat创建机器人，并具有文字交流功能所需的最小依赖集合。

pip3 install -r requirements.txt

(3) 拓展依赖 (可选，建议安装)：

pip3 install -r requirements-optional.txt

（4）这个项目的最关键的配置就是配置config.json文件，首先我们得通过官当给的复制出最终生效的config.json文件，

cp config-template.json config.json

（5）然后在config.json中填入配置，以下是对默认配置的说明，可根据需要进行自定义修改,这是我这边配置的文件具体得根据自己的情况进行一个修改（请去掉注释**）：

{
  "channel_type": "wechatcom_app",                  #企微名称 
  "model": "gpt-3.5-turbo",                         # 模型名称, 支持 gpt-3.5-turbo, gpt-3.5-turbo-16k, gpt-4, wenxin, xunfei
  "open_ai_api_key": "",                            #open_ai_key可以不用填写
  "open_ai_api_base": "http://localhost:8080/v1",   #运行GLM3LM模型api_server.py生成出的url地址 
  "text_to_image": "dall-e-2",
  "voice_to_text": "openai",
  "text_to_voice": "openai",
  "proxy": "",
  "hot_reload": false,
  "image_create_prefix": [
    "画"
  ],
  "speech_recognition": true,                         # 是否开启语音识别
  "group_speech_recognition": false,                  # 是否开启群组语音识别
  "voice_reply_voice": false,
  "conversation_max_tokens": 2500,                    # 是否开启群组语音识别
  "expires_in_seconds": 3600,
  "character_desc": "你是ChatGPT, 一个由OpenAI训练的大型语言模型, 你旨在回答并解决人们的任何问题，并且可以使用多种语言与人交流。",
  "temperature": 0.1,
  "top_p": 1,
  "subscribe_msg": "感谢您的关注！\n这里是ChatGPT，可以自由对话。\n支持语音对话。\n支持图片输入。\n支持图片输出，画字开头的消息将按要求创作图片。\n支持tool、角色扮演和文字冒险等丰富的插件。\n输入{trigger_prefix}#help 查看详细指令。",
  "wechatcom_corp_id": "",                          #企微ID       
  "wechatcomapp_port": 6006,                        #端口号
  "wechatcomapp_agent_id": "",                      #AgentId
  "wechatcomapp_secret": "",                        #Secret  
  "wechatcomapp_token": "",                         #Token     
  "wechatcomapp_aes_key": ""                        #EncodingAESKey  
} 

（6）配置好config文件之后，这里有个坑就是先后顺序的问题。在 Token 和 EncodingAESKey 先在企微中随机生成出来，企微中不要着急保存，执行下面的启动命令，成功执行完之后再到企微中保存，要不然连接不成功一定要细看这句话要不然配置不成功。

python app.py

（7）正常启动之后的界面如下

（8）企微中的URL地址该如何填写这个是决定你项目能否启动的关键，这也是为啥让在西北区和内蒙古地区租服务器的原因就在这，我们找到租好的服务器点击自定义服务就会给我们暴露出一个地址，这个地址就方便我们填入到企微中方便我们进行一个调用，这里还有要注意的是在企微中填写URLd地址的时候，地址后面还得跟wxcomapp,例如 https://xxxxxxxxxxxx/wxcomapp,当填写完成之后点击保存成功的话说明目前基本通了但是不一定代表会请求成功，后面还有一些坑要注意。

四.开始时下载GLM3框架以及模型

1.github的地址如下：https://github.com/THUDM/ChatGLM3，然后开始下载模型下载模型我选用的在魔塔社区进行拉取代码

### 如何将大模型拉取到本地服务器？
**阿里的modelscope上下载，无需vpn，如果你的网速还行，建议这种方式。**
​
1.首先需要安装modelscope
pip install modelscop
​
2.vim 创建一个.py
vim demo.py
​
3.文件中输入下面两行代码：
# 从modelscope上下载模型
from modelscope.hub.snapshot_download import snapshot_download
model_dir = snapshot_download('baichuan-inc/baichuan-7B', cache_dir='./model', revision='master')
如果你网速很好，下载就很快，如果是kb/s，那么大文件下载会失败。 
​
注意：下载不同模型需要对第二行代码中的模型地址修改成想要下载的模型。模型地址从modelscope.cn获取
3.运行.py文件，开始下载。
python demo.py

2.模型下载好之后，我们这里用GLM3封装好的api，先将api_server.py调通，这里需要下载大模型和embidding模型，下载之后更改路径就可以执行成功。

3.这些都准备好，我们就可以在企微中与模型进行一个交互，这里还得注意有个坑也是我解决比较啊长的一个错误，如果大家没有遇到请跳过，报错信息如下

4.解决的办法是在api_server.py中更改代码，添加如下代码就可以实现与大模型进行一个交互，并且也可以请求成功

5.最后成功对话的页面如下：