如何调用星火API，将语言大模型部署到本地

乐之杂货铺

已于 2024-07-15 20:43:38 修改

阅读量3.9k

点赞数 32

文章标签：语言模型云计算自动化

于 2024-07-13 08:12:06 首次发布

本文链接：https://blog.csdn.net/sinat_22331215/article/details/140340756

版权

ChatGPT、文心一言、讯飞星火等生成式语言大模型功能极其强大，正在改变传统的搜索模式。将大模型部署到本地，是指通过调用API的形式直接使用大模型，而不需要通过浏览器去使用。本地化的好处有两点：一是直接使用大模型，方便快捷；二是将大模型内置到自己的应用开发中。当然，调用API也有些弊端，比如要消耗一定流量。讯飞星火提供了200万的免费token，相当于300万中文字符。接下来，介绍如何调用讯飞星火API。

文章目录

一、注册账号，获取秘钥

点击讯飞官方网站，首先注册账号；
进入API设置界面，点击图1左下角API接入；

3. 点击下图免费试用，按提示进行相关操作，进入开发者平台

我们还可以向下拖动滚动条，免费领取200万token（1tokens 约等于1.5个中文汉字或者 0.8个英文单词），相当于300万中文。
在这里插入图片描述
不用付费，确认下单。

进入API应用平台，找到秘钥。
图3 开发者平台
在上图开发者平台右上角，我们可以看到APPID、APISecret和APIKey，这就是后面要用到的秘钥。

二、输入秘钥，快速调用API

1. 从API开发者平台首页进入，如下图所示
在这里插入图片描述
2. 点击开发文档，进入如下页面：

至此，我们可以看到星火官方已经在上图给出了快速调用API的方法，但是使用起来并不顺利，暂略。

三、下载星火demo文件，保存到本地

1. 在将上图网页滚动条拉倒最后，可以找到我们需要的py文件，点击即可下载。
在这里插入图片描述
上述两个py文件其实是独立的，第一个“Python调用示例”文件是单次对话；第二个则可以连续对话。这里我们先介绍第二个的使用方法。

2. 下载完成后，解压第二个压缩包，可以看到两个py文件：
第一个文件是：SparkApi，不需要做改动的
第二个文件是：demo文件，可以修改在这里插入图片描述
3. 复制或剪切这两个py文件到Anaconda的当前工作路径下。

在编辑器中，输入一下代码，可以打开当前路径：

import os
current_path = os.getcwd()  # 获取当前工作目录
os.startfile(current_path)  # 打开当前路径文件夹

打开当前路径，将py文件移动到此。
接下来，在编辑器中调用第一个文件：

import AparkApi

如果没有报错，那么说明已经成功将SparkApi.py文件放置到了当前路径。另外，可能出现提示缺少安装包，可以根据提示下载。

可能需要在promt中下载：

pip install --upgrade spark_ai_python
pip install websocket # 我的提示缺少websocket， 所以我下载了。

四、简单封装，为我使用

在Spyder等编辑器中打开第二个py文件：SparkPythondemo.py。复制如下：

# coding: utf-8
import SparkApi
import time
#以下密钥信息从控制台获取   https://console.xfyun.cn/services/bm35
appid = "XXXXXXXX"     #填写控制台中获取的 APPID 信息
api_secret = "XXXXXXXXXXXXXXXXXXXXXXXX"   #填写控制台中获取的 APISecret 信息
api_key ="XXXXXXXXXXXXXXXXXXXXXXXX"    #填写控制台中获取的 APIKey 信息

domain = "generalv3.5"      # Max版本
#domain = "generalv3"       # Pro版本
#domain = "general"         # Lite版本

Spark_url = "wss://spark-api.xf-yun.com/v3.5/chat"   # Max服务地址
#Spark_url = "wss://spark-api.xf-yun.com/v3