给ChuanhuChatGPT 配上讯飞星火spark大模型V2.0（一）

悟乙己

已于 2023-11-07 15:11:24 修改

阅读量1.6k

点赞数 1

分类专栏： LLM大模型文章标签： fastapi 大模型讯飞 chuanhu 部署

于 2023-10-14 22:01:17 首次发布

本文链接：https://blog.csdn.net/sinat_26917383/article/details/133831300

版权

LLM大模型专栏收录该内容

35 篇文章 27 订阅

订阅专栏

文章介绍了如何申请讯飞星火大模型的WebAPI，包括V1.5和V2版本，以及使用websocket进行调用的方法。同时，还详细讲解了川虎Chat的docker部署，本地部署和config.json的配置，特别提到了配置文件中的重要参数和常见错误处理。

摘要由CSDN通过智能技术生成

ChuanhuChatGPT 拥有多端、比较好看的Gradio界面，开发比较完整；
刚好讯飞星火非常大气，免费可以领取大概20w（！！！）的token，这波必须不亏，整上。
在这里插入图片描述

重要参考：

1 讯飞星火大模型

1.1 web api申请

在这里插入图片描述
基本上实名认证后，可以申请个人免费包，然后来到控制台

开启应用，把APPID、APISerect、APIKey记下就可以去开启API了。
这里星火大模型有两个版本：V1.5 V2 免费Token都非常多

1.2 web api调用

在这里插入图片描述
因为官方给到的一直报错，这里也可以使用别人已经封装好的，
需要安装：

!pip install websocket 
!pip install websocket-client

参考这个开源：sparkdesk_api，安装：

pip install sparkdesk-api==1.3.0

直接流式调用：

from sparkdesk_api.core import SparkAPI
# 默认api接口版本为1.5，开启v2.0版本只需指定 version=2.1 即可
sparkAPI = SparkAPI(
    app_id=app_id,
    api_secret=api_secret,
    api_key=api_key,
    # version=2.1
)

# 流式调用
sparkAPI.chat_stream()

# 一次性问答调用
sparkAPI.chat("你想问什么？")

1.3 web api的参数

这里参考这篇文章：讯飞星火大模型 API 封装
在这里插入图片描述

1.4 一些报错

{"message":"HMAC signature does not match"

之前笔者报错过，原来是apikey和api_secret写反了…

还有以下的报错：

tearing down on exception can only concatenate str (not "TypeError") to str

在这里插入图片描述
也有可能是apikey 与 API secret写反了

2 川虎 Chat 🐯 Chuanhu Chat

环境需要：
一定需要python3.10，而且window/linux/mac都是可以的

部署的时候，如果不在本地下载大模型，可以不用安装GPU之类的。

2.1 川虎 Chat docker部署

笔者之前尝试的是直接使用chuanhu的docker，参考：使用 Docker 部署
但是chuanhu的docker有蛮多问题，如果要自己本地下载大模型，非常不建议使用他们提供的docker，GPU的一些配置需要额外自己配，然后里面的环境比较简单
如果要借用chuanhu下载本地大模型CHATGLM之类的，建议使用阿里云modelscope的docker，好用！参考：ModelScope 官方提供的 Docker 镜像

拉取镜像并获取配置文件：

docker run --rm tuchuanhuhuhu/chuanhuchatgpt:latest \
cat /app/config_example.json > ~/ChuanhuChatGPT/config.json

运行 Docker 容器

docker run -d --name ChuanhuChat \
	-v ~/ChuanhuChatGPT/history:/app/history \
	-v ~/ChuanhuChatGPT/config.json:/app/config.json \
	-p 7860:7860 \
	tuchuanhuhuhu/chuanhuchatgpt:latest

这里强调一下history 是历史记录文件夹；config.json重要配置文件
其中-v 这里一定要写绝对路径，不然会报路径错误

如果需要安装本地模型所需的依赖，

docker exec -it ChuanhuChat /bin/bash

然后进入 /app 目录，执行以下命令安装依赖：

pip install -r requirements_advanced.txt

此时在config.json配上星火大模型相关信息：

在这里插入图片描述
直接docker run就可以打开 7860端口看到web页面了。

2.2 常规本地部署

本地部署可参考：手动安装（适用于大部分用户）

git clone https://github.com/GaiZhenbiao/ChuanhuChatGPT.git
cd ChuanhuChatGPT
pip install -r requirements.txt

# 如果你还想使用本地运行大模型的功能，请再执行下面的命令：
pip install -r requirements_advanced.txt

然后把config.json配置一下就可以启动了：