CoE（专家协同）技术架构？怎么落地的？

CoE（专家协同）技术架构的全方位解析

一、CoE（专家协同）技术架构的定义和特点

CoE（Collaboration - of - Experts，专家协同）技术架构是一种创新的架构模式，旨在通过整合多个专家模型和资源，实现协同工作以解决各种复杂任务。以360的CoE架构为例，它具有以下显著特点：

• 多模型整合 ：
  • 并非只接入一家企业的模型，如由360牵头，百度、腾讯、阿里巴巴、智谱AI、Minimax、月之暗面等16家国内主流大模型厂商合作打造，目前已接入这些企业的54款大模型产品，未来预计全量接入100多款大模型产品。这使得它能够汇聚众多模型的优势资源，在面对不同类型的任务时，可以调用不同模型的能力，就像拥有一个庞大的知识和能力库，涵盖了各种领域的智慧结晶。
  • 不仅接入大模型，还接入很多十亿甚至更小参数的专家模型。这种大小模型的结合是非常巧妙的设计，大模型在处理复杂、宏观的任务时发挥作用，而小模型在回答简单问题时能够被调用，这样既可以让最强的模型应对最难的问题，又能在回答简单问题时调用更精准的小模型，在获得高质量回答的同时，节约推理资源、提升响应速度。例如在日常简单的搜索查询中，小模型可以快速给出准确答案，而在处理深度复杂的自然语言处理任务时，大模型则可大展身手。
• 实现“快思考”与“慢思考” ：
  • 借鉴了大脑的功能分区结构，根据任务阶段，调动各功能中枢协同工作。例如，在处理任务时，第一个模型负责给出初步回答（类似“快思考”），第二个模型则会进行反思与纠错，第三个模型则会总结并优化最终答案（类似“慢思考”）。这种分工协作的模式，使得CoE架构在推理任务中的表现更加灵活且精准，尤其在处理复杂问题时，能与OpenAI o1 - preview媲美，甚至在某些场景下更胜一筹。这一特性使得模型能够像人类大脑一样，既有快速的直觉反应，又有深入的分析思考能力，从而提升回答的准确性和可靠性。
• 提升系统智能性 ：
  • 通过思维链（Chain - of - Thought，CoT）和多系统协同的方式，CoE架构让各个模型之间能够相互协作、配合，从而获得其所接入的所有大模型本不具备的能力。比如它能够通过意图识别模型，更加理解用户的实际需求；通过任务分解路由模型，让各大模型、小模型之间协同配合，从而提升整个系统的智能水平，使系统不仅仅是各个模型的简单叠加，而是产生了协同效应后的更强大的智能体。

二、CoE（专家协同）技术架构落地的成功案例

• 360AI搜索 ：
  • 360AI搜索是CoE架构非常成功的落地应用案例。在其背后，CoE架构起到了至关重要的支撑作用。在2024年1月诞生后的八九个月时间里，360AI搜索就超越PerplexityAI，