autogen studio是制作agent很不错的工具,它是以autogen制作成的网页版,其实是将autogen的模块定义用类已经写好,后期开发直接调用autogenstudio库的类就行,你可以先在网页版上将参数配置好,把workflows调式好后将配置参数下载后进行调库开发。
autogen对于API的调用都是openai接口框架,所以像国能许多大模型的接口无法使用,然而lang2openai这个项目就是将许多模型的API转换为openai的框架接口。
如讯飞星火API接口3.5,下载lang2aopenai
- 下载向量和rerank模型
# 下载安装git-fls https://github.com/git-lfs/git-lfs/releases
git lfs install
mkdir -p modal
cd modal
git clone https://www.modelscope.cn/quietnight/bge-reranker-large.git
git clone https://www.modelscope.cn/AI-ModelScope/bge-large-zh-v1.5.git
windos 下载 GitHub - q2wxec/lang2openai: lang2openai
- 配置llm,复制config-exp.ini
cp config-exp.ini config.ini
- 配置核心字段(最简版,除标注须替换的字段外,其他字段不动)
# 复制本文件并命名 config.ini
[llm]
# https://console.xfyun.cn/services/cbm
# 讯飞星火 app id
xh_app_id =
# 讯飞星火 api secret
xh_api_secret =
# 讯飞星火 api key
xh_api_key =
[embedding]
bge_embedding_path =
[rerank]
bge_reranker_path =
这里注意配置文件里面把中文去掉,不然会报错。
- 拉取项目,安装依赖
# 进入项目主目录
cd lang2openai
# 创建虚拟环境
python -m venv venv
# 激活虚拟环境win10
venv\Scripts\activate
# 激活虚拟环境linux
source venv/bin/activate
# 后端依赖安装
pip install -r requirements.txt
- 启动项目
# python 3.10以上版本
python main.py
部署完后需要改下几个地方的源码,因为没的3.5v接口的配置需要在源码里面添加,在aip/llm.py因为autogen的数据结构需要注释掉这个if语句
然后添加API的url和modal选项,需要添加llm/llm_loader.py文件
然后再启动python main.py,就可以用autogen接入了
