LLM智能体工程落地思考(一)

    人工智能领域著名教授吴恩达在今年3月份红杉资本的人工智能峰会(AI Ascent)以及最近Snowflake峰会开发者日上都发表了关于AI Agent(人工智能体)的演讲。演讲中，其分享了对AI Agent未来发展潜力的展望。认为AI Agent能够让人工智能胜任更多种类的任务，甚至可能比下一代基础模型带来更大的AI进展。

    关于吴恩达教授对AI Agent可能比下一代基础模型带来更大AI进展的观点，笔者无法判断。但AI Agent能胜任更多种任务，成为AI工程落地的重要手段的观点，笔者是深以为然的。去年业界在探索LLM工程应用场景时，逐渐聚焦到“检索增强生成(RAG)”和 “智能体(Agent)”两个方向上。RAG的相关技术方案去年爆火，包括向量算法、向量库、Rerank等技术得到了迅猛发展。但该技术只能做到初步激活客户的私有数据，利用LLM的总结归纳能力，完成垂域知识的问答。但这还远远不够，面对LLM不断进化所表现出的强大推理能力，业界希望LLM能够独立或辅助承担更多的工作。AI Agent成为一个不二的选择，这也是它在2024年爆火的原因。

什么是AI Agent

    AI Agent是一种能够感知环境、自主规划、决策、执行动作以及不断学习、改进的智能实体。由于其具有对外部环境的感知和执行动作的能力，使其具备了可以胜任更多任务的可能。一般而言，LLM被视为AI Agent的大脑，通过其强大的推理能力完成规划及决策。

LLM赋能的AI Agent主要组成如下：

• 传感器(I/O Sensors)

感知外部环境，向Agent提供环境信息，触发Agent进行响应。

• 规划（Planning）

子目标分解：Agent 将大任务拆分为更小的可管理的子目标，使得可以有效处理复杂任务。

反思与完善：Agent 对历史动作可以自我批评和自我反思，从错误中学习并在后续步骤里完善，从而改善最终结果的质量。

• 记忆（Memory）

短期记忆：上下文学习即是利用模型的短期记忆学习。

长期记忆：为 agent 提供保留和召回长期信息的能力，通常利用外部向量存储和检索实现。

• 工具使用（Tools）

对模型产生响应时缺失的信息，Agent采用调用外部API或执行代码来获取额外的信息，包括：实时信息，专有信息等。

智能体垂域工程落地面临的问题

    AI Agent的高速发展使我们可以预期到，未来它有能力解决和提升客户众多方面的工作效率。比如现在我们已经可以看到一些法律、金融、医疗类的智能体开始提供服务，并取得了一定的效果。但这些智能体受限于运营成本、算力成本等因素，目前更多是以公共服务的方式对外赋能。而这种服务方式无法满足客户的私有化部署需求。国内众多的大中型企业、政府、军队等，出于数据安全和政策要求，需要以私有化的方式来部署和应用AI Agent。这将成为未来AI Agent落地最重要的场景。

    可以预期，随着LLM参数规模的持续优化以及推理计算硬件成本的不断降低，私有化部署AI Agent将逐渐普及。客户的每个业务领域都可能有一个由垂域专业LLM支撑的AI Agent；也可能会是由一个通用LLM做为基础，在不同业务领域构建出不同的AI Agent。当然，不管AI Agent的实现形式是怎样的，工程落地都会面临一类通用的问题，就是如何使AI Agent与客户的环境相结合，从而完成与环境的信息交换。只有这样，AI Agent才能真正贴合客户的需求为客户提供有价值的服务。

    众所周知的是，当我们需要与客户的环境对接时，必然会产生定制开发的成本。成本的多少与客户环境的复杂程度及客户的需求正相关。而这部分成本对于软件服务企业来说，大概率是无法实现多项目功能复用，成本平摊的。那么这就意味着AI Agent的工程成本至少要与项目的预算基本持平才能够不断帮助客户实现AI Agent的垂域落地。

    现实的情况是，近两年全球经济下滑，四处都在勒紧裤腰带发展。政府及企业的IT建设预算也是大幅缩水，之前预算充足，可以大幅投入开发人员满足客户定制化需求的局面将难以为继。但AI Agent发展所推动的客户应用需求将不断增长。因此，未来AI Agent相关的项目将持续涌现，但经费预算将远低于前些年。这将为提供AI应用服务的服务商提出挑战。即如何才能够在经费有限且需要大量定制化工作才能实现AI Agent工程落地的项目中获得利润？