变革来袭！多Agent框架MuAgent带你解锁代码开发新姿势

最新推荐文章于 2024-09-05 20:03:23 发布

CodeFuse

最新推荐文章于 2024-09-05 20:03:23 发布

阅读量1.4k

点赞数 23

文章标签： windows 人工智能 AIGC 前端语言模型开源

本文链接：https://blog.csdn.net/CodeFuse/article/details/138151775

版权

在这个信息技术爆炸的时代，我们都知道大型语言模型（LLM）拥有处理复杂问题的能力，但当遇到编程难题这种更高级的挑战时，单独的LLM Agent可能就不够看了。社区里动起了脑筋，玩出了新花样——组合多个Agent来应对高难度挑战！正如Multi Agent的构建过程所示，与其说我们是在设计Agents，不如说是对当前需求的深入理解后去构建出一条专属于某个场景的SOP。

功能演示：在muAgent里能够实现本地代码库的问答功能

1、能够支持java代码库导入，并转换成向量数据、图数据以及传统数据库的内容

# delete codebase
codebase_name = 'client_local'
code_path = "D://chromeDownloads/devopschat-bot/client_v2/client"
# initialize codebase
use_nh = True
do_interpret = True
cbh = CodeBaseHandler(codebase_name, code_path, crawl_type='dir', use_nh=use_nh, local_graph_path=CB_ROOT_PATH,
                      llm_config=llm_config, embed_config=embed_config)
cbh.import_code(do_interpret=do_interpret)

2、在有了代码库之后，就可以基于语言模型来完成代码库问答


# 
phase_name = "codeChatPhase"
phase = BasePhase(
    phase_name, embed_config=embed_config, llm_config=llm_config,
)

# 
query_content = "remove 这个函数是做什么的"
query = Message(
    role_name="user", role_type="human", input_query=query_content,
    code_engine_name=codebase_name, score_threshold=1.0, top_k=3, cb_search_type="tag",
    local_graph_path=CB_ROOT_PATH, use_nh=use_nh
    )
output_message3, output_memory3 = phase.step(query)
# print(output_message3)
print(output_memory3.to_str_messages(return_all=True, content_key="parsed_output_list"))

3、下面，我们还可以基于代码库完成代码库转API文档工作，代码库自动生成测例的工作

那我们的muAgent是如何完成multi-agent的涉及工作的呢？

🏗️【muAgent框架大揭秘】

想象一下，你现在需要去用LLM来串联专属你的个性化业务场景SOP流程。那按照正常的Agent开发流程，我们首先需要定义每一个Agent的Prompt，其次将prompt传入到LLM接口进行调用，并将当前Agent的输出进行特定逻辑的后处理，再合并到下一个Agent的Prompt上，去获取它的输出，重复上述流程直到任务完成。而当这个SOP流程较长和复杂时，反复定义这样的Agent以及多种后处理会显得过于繁琐。

那muAgent就是为了解决这个问题并帮助大家快速实现SOP的串联。为了快速定义了Agent交互链路，我们要理解multi-agent的核心过程就在于如何把上一个agent的输出给到下一个agent的输入，其中需要涉及到llm的输出、具体action的执行以及信息的解析处理。为此，muAgent 巧妙地设计了Memory Manager 和 Prompt Manager 两个杀手级组件，能够管理长篇的聊天历史记录和自动化构筑 Prompts 。从而打造了一个扩展性满满、易用性爆表的多Agent超级框架！

✨【四种Agent类型，满足你的一切幻想】

在Agent层面，提供四种基本的Agent类型，对这些Agent进行Role的基础设定，可满足多种通用场景的交互和使用。所有的Action都由Agent执行。

BaseAgent：基础功打得溜，问答、工具使用、代码执行样样行。
ReactAgent：标准React流，遇事不慌，标准反应流程轻松应对。
ExecutorAgent：对任务清单进行顺序执行，根据 User 或上一个Agent编排的计划，完成相关任务，排个队，挨个干！
SelectorAgent：挑三拣四，根据User 或上一个 Agent的问题选择合适的Agent，总能找到最合适的Agent回答用户需求。

🔁【Communication进化论】

信息如同血液，Agent之间的通信变得前所未有的流畅，各类重要数据在Agents间如同接力赛跑，无缝传递！

System Content：用于存储管理当前LLM输出的时间，Role信息等
Info Content：LLM辅助信息，比如像知识库查询信息、代码库检索信息、工具信息、Agent信息等
LLM Content：直接存储和传递LLM 产生的信息
LLM Parsed Content：对LLM进行解析转成更易操作的key-value数据结构，方便对LLM内容进行过滤
Customized Content：用于管理自定义action产生的key-value数据内容，用于后续自定义Prompt模板的组装构建

🤖【Memory Manager记忆强化】

你的虚拟开发团队记忆力惊人，不管是保存、压缩还是检索聊天历史，他们能在数据库的海洋中自如潜泳。

存储管理：在数据库或本地实现对chat history进行save和load管理，包括user input、 llm output、observation ouput
信息压缩：对 chat history 进行关键信息压缩总结 summary context，比如说单文本概况、侧重不同角度进行文本概况、关键信息提取、多文本概况，作为 Prompt context
记忆检索：提供基础检索功能，检索 chat history 或者 Summary Context 中与问题相关信息，辅助问答

🛠️【Prompt Manager – 大脑核心】

如何让多个大模型分工并协调好LLM并来引导它们产生期望的输出，其本质就是将业务问题抽象并拆解到可执行的Prompt，让他们像处理业务问题一样精准执行。Prompt Manager正是这个大脑——将各类Prompts巧妙组装，从而驱动LLM Agents发挥出惊人的生产力！

muAgent 将Prompt Manager模块中分为 System Prompt、Context Prompt、Customized Prompt三部分

System Prompt 包括 Role Name、Role Description、Task等，即希望模型执行的特定任务。
Context Prompt 包括 Doc Context、Code Context、Tool Context、Agent Context、Session Context等，即希望模型理解的请求所需的背景信息。
Customized Prompt 则是自定义的一些 Input 和 Ouput，即模型需要处理的数据和期望的输出类型或格式的信号。

💻【Retrieval、Tool、Action – 辅助生态组件，muAgent框架的得力小助手】

Retrieval：好比虚拟团队的知识库管理员，有求必应。集成了Doc、Internet Search、Code Retrieval三种检索信息的方式，定义了一个抽象IMRetrieval类，可支持开发者自定义个性化的知识库，来完成Agent的知识库注册。
Tool：工具百宝箱，任你挑选，一键调用解决问题。支持Agent完成Tool的注册和langchain Tool接口的直接使用。
Action：作为LLM具体要执行的动作或动作流，会包括LLM信息处理、知识检索、工具调用以及代码执行等一个综合性的复杂过程，只要下达指令，他们就能将计划变成现实。

🏡【私人定制不是梦】

更炫的是，muAgent框架支持私有化定制，无论是个性化的LLM还是深情的嵌入式Embedding服务，只要你想，就能搞定！

🌟所以，还等什么？让我们一同携手muAgent框架，解锁编程世界的新潜力，体验创造力的大爆炸吧！🎉🎉🎉

通过执行pip install codefuse-muagent 然后就能上手使用了

from muagent.connector.agents import ReactAgent, SelectorAgent
from muagent.connector.schema import Role, Message, ChainConfig
from muagent.llm_models.llm_config import EmbedConfig, LLMConfig


llm_config = LLMConfig(
    model_name=model_name, api_key=api_key,  api_base_url=api_base_url, temperature=0.3,
    stop="**Observation:**"
)

embed_config = EmbedConfig(
    embed_engine="model", embed_model=embed_model, embed_model_path=embed_model_path
)

# 定义了基于react的tool agent
tool_role = Role(role_type="assistant", role_name="tool_reacter", prompt=REACT_TOOL_PROMPT)
tool_react_agent = ReactAgent(role=tool_role,chat_turn=3,
    llm_config=llm_config, embed_config=embed_config,
)

# 定义了基于react的code agent
code_role = Role(role_type="assistant", role_name="code_reacter", prompt=REACT_CODE_PROMPT)
code_react_agent = ReactAgent(role=code_role, chat_turn=3,
    llm_config=llm_config, embed_config=embed_config,
)

prompt = """#### Agent Profile
Your goal is to response according the Context Data's information with the role that will best facilitate a solution, taking into account all relevant context (Context) provided.
When you need to select the appropriate role for handling a user's query, carefully read the provided role names, role descriptions and tool list.
#### Response Output Format
**Thoughts:** think the reason step by step about why you selecte one role
**Role:** Select the role from agent names.
"""

# 定义了一个groupAgent
role = Role(role_type="assistant", role_name="qaer", prompt=prompt)
base_agent = SelectorAgent(role=role,chat_turn=3,
    llm_config=llm_config, embed_config=embed_config,
    group_agents=[tool_react_agent, code_react_agent]
)

# 
question = "确认本地是否存在employee_data.csv，并查看它有哪些列和数据类型;然后画柱状图"
query = Message(role_type="user", role_name="user", input_query=question,tools=tools,)
output_message = base_agent.step(query)
print(output_message.role_content)

还可以支持CodeFuse-Chatbot的多种问答功能，CodeFuse-Chatbot使用演示视频：

https://www.youtube.com/watch?v=ex5sbwGs3Kg&ab_channel=HaotianZhu

项目链接

[1] https://github.com/codefuse-ai/CodeFuse-muAgent

[2] GitHub - codefuse-ai/codefuse-chatbot: An intelligent assistant serving the entire software development lifecycle, powered by a Multi-Agent Framework, working with DevOps Toolkits, Code&Doc Repo RAG, etc.

[3] codefuse-ai · GitHub