讯飞星火API接口接入autogen studio的models

autogen studio是制作agent很不错的工具,它是以autogen制作成的网页版,其实是将autogen的模块定义用类已经写好,后期开发直接调用autogenstudio库的类就行,你可以先在网页版上将参数配置好,把workflows调式好后将配置参数下载后进行调库开发。

autogen对于API的调用都是openai接口框架,所以像国能许多大模型的接口无法使用,然而lang2openai这个项目就是将许多模型的API转换为openai的框架接口。

如讯飞星火API接口3.5,下载lang2aopenai

  • 下载向量和rerank模型
# 下载安装git-fls https://github.com/git-lfs/git-lfs/releases
git lfs install

mkdir -p modal
cd modal

git clone https://www.modelscope.cn/quietnight/bge-reranker-large.git
git clone https://www.modelscope.cn/AI-ModelScope/bge-large-zh-v1.5.git

windos 下载 GitHub - q2wxec/lang2openai: lang2openai

  • 配置llm,复制config-exp.ini
cp config-exp.ini config.ini 
  • 配置核心字段(最简版,除标注须替换的字段外,其他字段不动)
# 复制本文件并命名 config.ini

[llm]


# https://console.xfyun.cn/services/cbm
# 讯飞星火 app id
xh_app_id = 
# 讯飞星火 api secret
xh_api_secret = 
# 讯飞星火 api key
xh_api_key = 



[embedding]
bge_embedding_path = 

[rerank]
bge_reranker_path =

这里注意配置文件里面把中文去掉,不然会报错。

  • 拉取项目,安装依赖
# 进入项目主目录
cd lang2openai
# 创建虚拟环境
python -m venv venv
# 激活虚拟环境win10
venv\Scripts\activate
# 激活虚拟环境linux
source venv/bin/activate
# 后端依赖安装
pip install -r requirements.txt
  • 启动项目 
# python 3.10以上版本
python main.py

部署完后需要改下几个地方的源码,因为没的3.5v接口的配置需要在源码里面添加,在aip/llm.py因为autogen的数据结构需要注释掉这个if语句

 

然后添加API的url和modal选项,需要添加llm/llm_loader.py文件

然后再启动python main.py,就可以用autogen接入了

wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值