想象即现实：货拉拉 AI 应用开发体系揭秘-CSDN博客

本文链接：https://blog.csdn.net/Python_cocola/article/details/140723647

背景介绍

货拉拉是一家从事同城、跨城货运、企业版物流服务、搬家、汽车销售及车后市场服务的互联网物流科技公司。截至 2023 年底，货拉拉业务范围覆盖全球 11 个市场，包括中国及东南亚、南亚、南美洲等地区，其中中国内地总共覆盖 363 座城市，月活司机达 90 万，月活用户达1200 万。

随着预训练大模型的出现为当前 AI 领域的突破提供了新的通用化解决方案，让人们真正看到了 AI 技术大规模普惠落地的可能，智能化应用呈现了爆发式增长。

面对这一技术，既要抓住机遇立即行动，也要为人工智能的长跑做从长布局。AIGC 应用要融入到企业技术和运营中，紧贴应用场景、致力于应用创新，解决应用落地的最后一公里。

图：2024 AIGC 应用层十大趋势白皮书

根据 IDC 关于 2024 AIGC 应用层十大趋势白皮书，不难看出，AIGC 应用落地将建立在 AI Agent 技术和 AI 应用开发平台之上，近一年来各科技头部企业纷纷落子 AI 应用的普惠化。

例如 OpenAI 的 GPTs，百度的文心智能体平台、字节跳动的 coze 平台、腾讯的元器平台、阿里的百炼平台等。以预训练大模型为基础的通用人工智能将作为一个元能力引擎，深度影响从企业市场到知识发展、内容创作、协同交互等商业、工作的方方面面。

货拉拉作为国内货运领域赛道领跑企业，已经在 AIGC 应用落地方面做出了有益的尝试和落地。

货拉拉大模型应用现状与思考

货拉拉内的大模型业务领域多样，目前已在营销、邀约、客服、外呼等多个业务领域进行大模型提效；企业内的研发、测试、设计等用户期望使用大模型；业务或用户使用诉求多，例如在飞书中集成、或是网页插件、或直接接口调用。

但各业务或用户自行开发，工作量大且重复造轮子；且大模型推理过程中语料来源于公司内部各处，无统一的知识中心；此外还存在做业务不清楚大模型怎么用，做大模型的不清楚业务的需求和使用方式。

基于此，货拉拉的 大模型应用一站式开发平台 – 悟空平台 应运而出，依托于大模型为核心元能力引擎，采用低代码和零代码两种开发方式，结合 AI Agent 相关思路和技术，提供多样化的超级交互入口，最终为货拉拉多元化的业务场景提供了高效、便捷、稳定、可视化的大模型应用开发 SOP。

货拉拉大模型应用开发体系介绍

1.体系层级介绍

基于货拉拉多元化的业务场景和诉求，设计了如下的大模型应用开发体系分层：

用户层：包含所有使用大模型能力的人或业务，例如邀约业务的用户是企业内邀约人员、营销业务的用户是运营人员、代码生成的用户是技术员工。

交互层：交互层集成了浏览器插件、小程序、飞书工作台、Web 页面、机器人、Open API，通过悟空的应用发布能力，业务可一键发布至所需的交互渠道，便于不同场景下的使用需求。

开发层：开发层是核心能力，是一个可视化的 AI 工具平台，平台向下对接货拉拉自研大模型和外界大模型，向上提供统一的低代码和零代码 AI 应用的构建能力和统一发布机制，平台自身提供 AI 应用开发所需的技术功能，我将会在下面详细介绍。

大模型层：悟空除支持货运大模型（自研）外，还接入了业界主流的多款开源和商业大模型，由悟空平台统一管理与调用封装。

下面，我将着重为大家介绍开发层（悟空平台）和交互层（Lalabot）的设计。

2.悟空平台

2.1 平台架构设计

现有平台整体技术架构如下：

悟空平台技术架构分为 5 个层级：

接入层：接入层位于平台的最上层，面向场内所有用户。

web 界面：提供一个统一的 web 平台，用户通过 web 平台，可完成大模型或组件模板接入、知识构建与管理、AI 插件注册与调试、Prompt 编排与优化、AI 应用的构建验证与发布、以及后置的 AI 应用推理追踪查询、项目管理、成本与资源查询和管控等所有操作。
接入渠道：悟空平台提供多种对外的使用方式以支撑上游各业务场景需要。提供 AI 应用调用流式 Chat 和非流式生成 API；集成飞书、企业微信等企业协作软件机器人开放能力；面向企业内非技术同学提供对话、写作、绘图一站式 AI 助手浏览器插件；以及 RAG、prompt 工程、工作流运行、大模型调用等开放接口。
权限管理：负责功能、角色、应用、知识库等力度的权限管控。

应用层：应用层主要负责承接让用户如何简便高效的构建一个统一有效的 AI 能力。

低代码 AI 应用：通过拖拽组件到画布的方式快捷搭建业务 AI 流程，结合大模型、知识库、工具等组件，完成 AI 应用开发。
零代码 AI 应用：通过自然语言表达意图的方式、提供行为说明，引入知识库、工具等能力，对话式生成 AI 应用的构建。
应用社区：悟空平台支持优秀 AI 应用项目公开至应用广场，推动货拉拉内共建基于大模型的 AI 生态。用户可以在应用社区搜寻所需 AI 能力、学习参考构建示例、快速复制到自身业务所在的工作空间。

功能层：悟空平台的功能采用积木式设计，各功能模块之间相互独立，互不耦合，可单独使用某一个模块功能，也可以将多种功能包含融合，形成一个统一协作的 AI 能力。

AI 工具：AI 工具是一种延伸大模型应用场景和能力的解决方案，大模型是一个大脑，工具则像是四肢。大模型可自主决策使用工具，丰富大模型的应用场景，完成此前无法完成的任务。
Prompt 工程：Prompt 的优劣直接决定大模型生成效果的好坏，悟空结合 AI Agent 技术，打造了 Prompt AI 助手，帮助用户智能化的生成和优化自己的 Prompt 结构和信息，评测 Prompt 效果对比，以及快捷引用已保存的 Prompt。
知识管理：知识是 AI 应用输出回答的数据依据，悟空提供知识库功能，帮助有专业数据积累或对输出结果有准确性、专业性要求的业务方或用户。结合信息安全规范，底层知识引擎基于自研部署，且前置识别和脱敏风险信息，保证货拉拉信息合规合法不外泄。
应用监控：AI 应用的监控是对业务使用稳定性的保障。目前悟空平台的监控能力全方面覆盖“事前事后”，AI 应用构建时，提供流程静态测试、AI 应用试运行验证、AI 推理的环节埋点和可视化推理追踪、资源的分配与管控。AI 应用发布后，提供实时的 AI 应用调用的 QPM、TPM、消耗成本、Tokens 等指标曲线看板。

模型层：悟空平台模型层主要使用货拉拉自研大模型，此外，我们也针对业界优秀的 Foundation Model 进行微调和部署集成；以及集成了例如 OpenAI、通义千问等国内外主流的闭源商业大模型的使用。

基建层：最底层是悟空平台的基础设施，包含数据库、知识库、词库、网关、三方服务的依赖，在此不做过多赘述。

2.2 核心功能介绍

2.2.1 零代码 AI 应用

零代码 AI 应用的构建流程核心就是对话式生成，不同业务方的需求是不同的，所需的技能也不同。用户进入零代码 AI 应用构建界面后，系统自动为该用户分配一个构建 AI 助手，构建助手和用户进行聊天，在聊天过程中搜集完善用户的诉求，在诉求完善过程中，一步步的去动态调整用户所需的零代码 AI 应用配置，并根据上下文理解为完成用户诉求所需要的技能，智能引入工具或知识或可用大模型等。

平台上零代码 AI 应用构建界面如下：

2.2.2 低代码 AI 应用

悟空平台的低代码 AI 应用能力，旨在为货拉拉提供灵活、通用、可配置、可调式的 AI 应用构建和使用能力。

低代码 AI 应用的使用流程如下：

低代码 AI 应用采用工作流的编排方式，流上的每一个环节都是一个具备不同功能的组件节点，组件是 AI 应用的基本功能单位。也就是说每一个组件节点都有相对独立的功能，以及定义其功能的输入、输出要求和配置参数。通过组件与组件之间的拼接，可以达到不同的 AI 能力。

按照功能相似度上的分类，悟空平台目前已支持 AI Agent、Chain、记忆、提示词、知识库、工具、输出解析等 14 种类型，每种类型下又有若干个实际组件可供使用。

流式的编排方式，意味着用户可任意组合和连接组件，形成一条统一可执行的流程配置。

一条可执行的 AI 流程，其环节中可能包含一次或多次的大模型推理或其他相同功能节点执行，用户向流程开始节点输入参数后，开始节点接收用户输入，将数据流经下一节点，节点处理后数据流向下一节点，或回转至之前环节（召回推理）。达到一次性的流程运行或 Agent 多次内置推理的能力。

平台上低代码 AI 应用构建界面如下：

2.2.3 知识管理

知识主要用于 AI 应用推理过程中，大模型生成结果时的上下文参考作用，目的就是在不涉及训练或微调模型的情况下，让大模型生成结果尽量准确专业，降低大模型幻觉。

悟空的知识管理底层包含多项相关技术，包含数据提取、Embedding Model、向量引擎、Re-Ranking、RAG 等，在此不做一一赘述，整体技术实现参考如下：

悟空平台知识管理界面如下：

2.2.4 AI 工具

当前货拉拉企业内各内部服务和功能较为独立分散，悟空AI工具功能模块允许企业内业务将自身能力注册为自定义工具，利用AI的能力，将多个平台或服务能力整合起来，形成一个简便、一致、可对话的业务AI入口。

例如传统的运营活动，需要在运营平台上手动选择活动城市、人群等信息，而将活动创建功能注册为AI工具，我们只需要对话式的告诉活动Agent想在某一时间段内某个城市中对哪些人群创建活动，活动Agent将自动理解运营诉求并调用城市人群获取和自动创建活动任务并下发生效。

此外平台内置和集成了丰富的工具，包括天气查询、联网检索、图片理解、图片生成、代码解释器、语音合成、地理编解码、语言翻译等 API 及多模态模型。使用这些工具，可以帮助用户扩展 AI 应用能力边界。例如接入「联网搜索」组件，使AI应用能够检索全网的实时信息；例如接入「天气查询」组件，使AI应用能够实时获取某地天气预测等。

平台目前为用户提供数十种开放使用的 AI 工具，同时也在持续集成新的工具到工具库中，此外还支持用户通过多种方式自行在平台上创建和发布自定义工具：

2.2.5 应用监控

AI 应用的一次推理过程，可能涉及提示词组装、知识检索、工具调用、历史记忆提取、Agent Planning、Action 下发等多个动作的执行过程，最终输出一个终态的结果。但终态结果是否符合用户预期，中间动作过程经历了什么及怎样追踪推理链路，最终结果如何复现，本次推理耗费了多少资源，花销了多少成本，这些都不得而知。

悟空平台提供了 AI 应用的综合监控能力，监控能力主要包含几方面：一是对业务方或组织架构粒度所属的所有 AI 应用调用指标的宏观汇总；二是提供针对指定 AI 应用的调用指标和成本消耗曲线看板；三是提供 AI 应用的历史推理轮数的查询定位；四是针对某个 AI 应用的某次推理过程提供可视化的过程追踪能力。

悟空平台的应用监控大盘界面如下：

悟空平台的可视化推理追踪界面如下：

3.Lalabot

3.1 产品架构设计

Lalabot 是为货拉拉企业内所有员工打造的一款先进 AI 助手，底层依托于悟空平台和大模型，支持浏览器插件、手机小程序、PC Web 等多端应用，Lalabot 集聊天、写作、AI 绘图、图升文、定制化 Agent 几大功能于一身，助力货拉拉企业内员工高效、便捷的工作。

3.2 核心功能介绍

3.2.1 联网搜索

由人工智能驱动的搜索辅助，用户只需输入自己的问题，AI 将对其进行分析，使用多个相关搜索关键词，并总结各种结果条目，以找到用户问题的答案，并提供相关的提示词去帮助用户收集更深入的信息。

3.2.2 定制化 Agent

上文介绍的悟空平台 – 货拉拉一站式 AI 应用开发平台，用户可以在悟空平台上将构建好的 AI 应用一键发布到 Lalabot 上，打造专属的 AI Agent，这些 Agent 能够帮助用户从处理简单问题到执行复杂的对话逻辑。而更棒的是，用户可以将自己发布的定制 Agent 分享和公开，让其他用户一起使用。

3.2.3 智能摘要

面对长网页、论文、设计方案、会议记录、聊天历史这些长段上下文信息，可以让 Lalabot 帮助摘要总结这些内容，提取输入内容的核心内容和重要结论，以便能够快速了解内容的主题、目的和汇总。

3.2.4 写作与绘图

Lalabot 的写作代理，只需要用户提供少量输入，明确用户写作的主题方向，即可为用户生成文章标题和大纲，一旦达成一致，写作代理将内置搜索相关文献资料，起草用户文章，最终呈现给用户一篇可用的文章。

而 Lalabot 的绘图代理，只需要用户输入要绘制的简短描述，绘图代理会智能理解和扩充用户输入的描述，最终生成待绘制图片的详细文字描述并和用户达成一致，最终呈现给用户绘制好的图片。

货拉拉大模型应用落地

1.应用落地详情

依托于悟空平台，货拉拉目前已在 14+ 个业务或部门，50+ 个真实业务场景，探索和落地 AI 能力：

我将从货拉拉数十个 AI 业务场景中摘选几个落地业务为大家简要介绍。

2.智能邀约培训对练

邀约培训对练底层基于悟空 AI 能力，利用大模型、ASR、TTS、数字人等技术，打造一个能听、能说，能理解的 AI 助手，实现智能化培训、质检、对练能力，提升高员工技能水准，增强用户体验，降低人力成本。

3.专业助理

专业化助理需求涵盖智能问答、日报周报生成、企业专业方案生成、智能客服等多个子场景，货拉拉在专业助理方面进行了长期且有效的探索工作，帮助企业内数十个业务 AI 诉求进行了落地。

智能周报生成：周报信息包含真实数据，包含多形式观测验证的饼图、趋势图、分布图，最终生成的周报内容能理解、可分析、有总结。

智能问答：回答精确率和回复效率之间相互权衡，业务问答准确率提升至 90%+

4.AI 故障分析

依托于悟空平台，我们和货拉拉内兄弟技术团队合作，在服务发布、网络系统、监控告警等多个领域探索利用 AI 能力降低资源投入，提高人效。

例如利用 AI，在 k8s 发布失败时，对容器发布失败故障原因分析和问题排查，辅助研发快速定位和修复问题；利用 AI 判断系统告警是否为误报，对告警信息分层，重要告警 AI 给出分析结果和处置建议并同步接收人。

总结与展望

随着货拉拉的 AI 应用覆盖面日渐广泛，业务的诉求也逐渐进阶：

多模态大模型和 Multi Agent 技术的出现，标志着 AI 能够做的工作和能支持的业务范围更加广泛，货拉拉 AI 应用开发体系也在持续探索和吸收新的技术，从而更好的赋能货拉拉业务。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述