浅谈人工智能之基于AutoGen Studio+litellm+ollama构建model

浅谈人工智能之基于AutoGen Studio+litellm+ollama构建model

摘要

随着自然语言处理技术的飞速发展，基于大型语言模型（Large Language Models, LLMs）的应用越来越广泛。本指南旨在介绍如何利用AutoGen Studio、litellm和ollama这三大工具，高效构建并部署具备高级对话能力的多智能体系统。通过整合这些工具，开发者能够轻松地在本地环境中搭建起功能强大、灵活且可定制的大型语言模型应用。

引言

● AutoGen Studio: 是一个由微软推出的多代理对话框架，专为简化基于大型语言模型的应用程序开发而设计。它允许用户以最少的代码量实现复杂的多轮对话逻辑。
● litellm: 是一个轻量级的Python库，用于简化与各种云端和本地部署的语言模型的交互。它提供了一致的API接口，支持快速集成包括OpenAI、Hugging Face等在内的多种模型服务。
● ollama: 是一个用于在本地轻松部署和管理大型语言模型的工具，支持多种模型格式，如LLaMA系列，极大地降低了运行大型语言模型的门槛。

环境准备

AutoGen Studio环境搭建

AutoGen Studio环境搭建我们之前已经有讲解，请参考文档：
AutoGen Studio环境搭建

Ollama环境搭建

Ollama环境搭建我们之前已经有讲解，请参考文档：
Ollama环境搭建

litellm环境搭建

第一步：我们在使用Anaconda创建的环境中进行litellm环境搭建，进入我们之前创建的环境

conda activate sam

第二步：下载litellm，命令如下

pip install litellm

如果下载速度慢，我们可以使用国内镜像网站进行下载，在下载包的时候首先执行如下命令：

pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/

当看到如下信息，表示下载完成：

Successfully installed aiohappyeyeballs-2.4.0 aiohttp-3.10.5 aiosignal-1.3.1 async-timeout-4.0.3 attrs-24.2.0 frozenlist-1.4.1 jsonschema-4.23.0 jsonschema-specifications-2023.12.1 litellm-1.44.15 multidict-6.0.5 referencing-0.35.1
rpds-py-0.20.0 yarl-1.9.7

第三步：下载litellm[proxy]，命令如下

pip install litellm[proxy]

当看到如下信息，表示下载完成：

Successfully installed apscheduler-3.10.4 backoff-2.2.1 cryptography-42.0.8 dnspython-2.6.1 email_validator-2.2.0 fastapi-0.111.1 fastapi-cli-0.0.5 fastapi-sso-0.10.0 gunicorn-22.0.0 httptools-0.6.1 oauthlib-3.2.2 orjson-3.10.7 pyna
cl-1.5.0 python-multipart-0.0.9 redis-5.0.8 rq-1.16.2 starlette-0.37.2 tzlocal-5.2 uvicorn-0.22.0 watchfiles-0.24.0

第四步：程序启动，命令如下：

litellm --model Qwen1:latest

当看到如下信息，则表示启动成功

INFO: Application startup complete.
INFO: Uvicorn running on http://0.0.0.0:8730(Press CTRL+C to quit)

注意：这里的模型名称，要跟ollama list中显示的模型名称一致。

AutoGen Studio的Model搭建

环境准备好以后，我们就可以在AutoGen Studio上搭建Model。
第一步：点击界面中的Models

第二步：点击界面右侧的New Model

第三步：在跳出来的界面中选择第一个模型类型

第四步：在跳出来的Model Specification中我们配置如下参数内容

Model名称：填写Qwen1:latest，注意这里也要跟ollama list的模型名词一致
API Key：由于是本地模型，随便填写，但是一定要填写，不然报错
Base URL：因为部署的是ollama模型，所以默认情况下URL为http://localhost:11434/v1
Description：随意填写
第五步：填写完成以后点击界面上的Test Model按钮进行测试

第六步：当测试完成后，界面中会跳出如下提示信息“Model tested successfully”，表示模型测试成功

第七步：保存模型Save Model
至此，我们就配置好了AutoGen中的Model

结论

结合AutoGen Studio的强大对话管理能力、litellm的便捷模型调用接口以及ollama的本地模型部署优势，开发者能够快速构建出功能丰富、响应迅速的大型语言模型应用。这一技术栈的整合，不仅降低了开发门槛，还极大提升了项目的灵活性和可维护性，是探索LLM应用开发的理想选择。