大突破！本地大模型接入微软Autogen，多专家Agent共事成现实！支持llama2+chatglm，附代码！

跑通！跑通！全程跑通！

雄哥认为未来agent的终局大概率是一个人，管理部门多个AI Agent同时工作，人力将解放！

想象一下，你翘个二郎腿，偌大的办公室，只有你一个人，喊一句：“做个月度计划”，他自动分析上月数据，整合现有资源，做本月的规划，人场地资金！做完跟你汇报，你只需说“OK”，他自动发给老板！

当然！！老板也会接入专家Agent，帮他全权管理公司，甚至实现一个老板，请三五个员工，就能干完现在50人+的事情！

想想这多恐怖！！

上篇，我们用GPT4跑通了整个微软Autogen项目，并且拉了几个专家Agent一起做数学题、一起讨论干活！

【彻底失眠！把代理Agent拉到一个群干活！跑完微软Autogen实例后emo了！附官方论文原件】

今天我们实现本地LLM的Agent，接入微软Autogen的项目，实现完全本地化部署和推理，直接加快微软Autogen在国内商业落地的速度！

我们知道OpenAI的接口是无法在国内实现备案+商业化操作的！那本地llm实现Agent，是可以完全商业化运作的！

【大模型合法化指南！附算法备案范本！项目商业落地必看！】

虽然本地部署需要大量计算资源，但本地的实现，直接打开落地的大门！

今天我们就本地实现微软的Autogen过程做分享：

①是通过什么方法实现的？用到什么工具；

②支持哪些模型？功能怎样；

③跟着代码跑一个实例！一边跑一边聊细节；

---

>第一部分：通过什么方法实现的？用到什么工具？

首先，你需要在知识星球下载到本地LLM+实跑教程的代码原件！

一看便知，整个实现过程非常的简单！

公号获得方法！

实现方法非常简单！

用FastChat部署启动本地LLM，然后通过对齐OpenAI的key，接入到autogen.oai.Completion库中，然后你就可以跟着第一篇的教程，部署autogen了！

FastChat>>>启动本地LLM>>>对齐OpenAI KEY>>>接入Autogen

---

>第二部分：支持哪些模型？功能怎样？

目前我们已经测试过多个本地的开源LLM部署，目前llama2反馈的结果是最好的！闭源模型阵营中，除了OpenAI，没有测试过！

而且，支持微调后的本地LLM，真正实现专家Agent就干专长的事！我们做了一个简单的统计表，如果你还测试过其他模型，欢迎交流！

统计情况如下(主观)：

如果你在跑其他的试验，再次欢迎你加入讨论；

---

>第三部分：跟着代码跑一个实例，一边跑一边聊；

刚才我们也说了，得益于微软Autogen的框架，整个开发过程，非常的简单！Autogen的部署过程，上节已经讲过了！今天主要讲接入Autogen前的过程！

3.1 FastChat的部署

首先，你需要创建AI环境，具体创建过程我不说了，雄哥已经课程里有一张专门讲环境搭建的！

第四天！0基础微调大模型+知识库，部署在微信！手把手安装AI必备环境！4/45

克隆FastChat的仓库，并进入目录中

git clone https://github.com/lm-sys/FastChat.git
cd FastChat

如果你本地没有基座，需要你先下载

git clone https://huggingface.co/THUDM/chatglm2-6b

安装serve库

python -m fastchat.serve.controller

3.2 启动本地LLM

确保权重全部下载完成，如果你没办法用抱脸下载，你可以用国内镜像源或者在雄哥星球的链接下载

python -m fastchat.serve.model_worker --model-path chatglm2-6b

3.3 启动接API

这里注意第一个坑！没跑过的不知道！

这个“host localhost"，你要改本地的地址，例如：127.0.0.1

python -m fastchat.serve.openai_api_server --host localhost --port 8000

他返回的key，是默认对齐OpenAI KEY的，意思是我们本地的LLM的API，“伪装成”OpenAI的key，让他可以被接入到Autogen中！因为星球有朋友问到这个事，简单说说！

3.4 接入Autogen

这时我们打开jupyter-notebook，具体打开方法，环境篇也说了！

这里，我们先加载oai.Completion，然后把你得到的api地址，填写到下面去！

记住！一定要加“v1”，否则是无法被接入的！其他别动！

from autogen import oai
​
# create a text completion request
response = oai.Completion.create(
    config_list=[
        {
            "model": "chatglm2-6b",
            "api_base": "http://localhost:8000/v1",
            "api_type": "open_ai",
            "api_key": "NULL", # just a placeholder
        }
    ],
    prompt="Hi",
)
print(response)
# create a chat completion request
response = oai.ChatCompletion.create(
    config_list=[
        {
            "model": "chatglm2-6b",
            "api_base": "http://localhost:8000/v1",
            "api_type": "open_ai",
            "api_key": "NULL",
        }
    ],
    messages=[{"role": "user", "content": "Hi"}]
)
print(response)

他是支持多个本地LLM启动的！前提是你本地有足够的算力资源！

这里简单说下实现方法！把上面的步骤，稍微改改：

python -m fastchat.serve.multi_model_worker \
    --model-path lmsys/vicuna-7b-v1.3 \
    --model-names vicuna-7b-v1.3 \
    --model-path chatglm2-6b \
    --model-names chatglm2-6b

然后再启动接入！

from autogen import oai
​
# create a chat completion request
response = oai.ChatCompletion.create(
    config_list=[
        {
            "model": "chatglm2-6b",
            "api_base": "http://localhost:8000/v1",
            "api_type": "open_ai",
            "api_key": "NULL",
        },
        {
            "model": "vicuna-7b-v1.3",
            "api_base": "http://localhost:8000/v1",
            "api_type": "open_ai",
            "api_key": "NULL",
        }
    ],
    messages=[{"role": "user", "content": "Hi"}]
)
print(response)

之后你要做的事情，就是跟着第一篇的内容，正常配置Autogen即可！

彻底失眠！把代理Agent拉到一个群干活！跑完微软Autogen实例后emo了！附官方论文原件

---

>也许我们正在见证一个时代

期待吧！