FORCE 大会开发者论坛演讲实录|吴一帆：边缘智能在 Agent 上的探索与实践

在火山引擎冬季 FORCE 原动力大会开发者论坛上，火山引擎边缘智能技术总监吴一帆分享了边缘智能在 Agent 上的探索与实践，详细介绍了火山引擎边缘智能平台能力，结合边缘智能在 Agent 开发上的实践经验，探讨边缘智能联合扣子打造的创新解决方案如何帮助大模型拓展使用边界，加速大模型应用落地实践。

演讲内容主要包括了四部分：火山引擎边缘智能简介；边缘智能 Agent 探索实践；边缘智能与扣子联合实践；未来展望与思考。

以下为演讲实录：

大家上午好，我是火山引擎边缘智能技术总监一帆，很高兴今天能在这里跟大家分享边缘智能在 Agent 开发上的探索与实践经验。

火山引擎边缘智能简介

首先简单介绍边缘智能。边缘场景有自己鲜明的特点。

• 第一是设备接入，边缘存在各种异构设备和传感器，同时还有丰富的数据协议，其中又以视频、时序数据为主；

• 第二是算力受限，绝大部分端侧设备或边缘设备算力受限，被称为微算力或小算力，通常需要端边云协同来完成 Agent 的算力需求；

• 第三是模型能力边界，在当前技术阶段，小尺寸大模型，特别是多模态大模型，基础模型能力有待进一步提升；

• 第四是数据安全，这是边缘的一大特点，对于一些企业来说，数据必须保留在本地，不能上云；

• 第五是不可靠性，断网弱网可能是边缘的常态，需要保证异常情况下的边缘自治能力；

• 第六是性价比，相比中心，边缘有着就近接入、低成本带宽的优势，可以满足部分客户关于性价比的要求。

以上几个条件互相作用，会导致边缘 Agent 在落地时，对大模型或者 Agent 的部署地点有灵活多变的需求。比如数据有强隐私的要求，那么模型和 Agent 只能部署在边缘；边缘设备算力受限，跑不了大模型，那模型只能部署在中心云；边缘网络不太稳定老是需要自治，那在边缘也必须有一定的模型推理能力来完成闭环。由此可见，我们需要一整套更灵活的端边云协同框架和平台应用开发工具来帮助边缘 Agent 在各种业务场景下的落地。

我们来看 Agent 几种不同的部署形态。这里所说的 Agent ，是一种更加泛化的 AI 应用，并不是严格按照感知、规划、决策、执行的概念。根据目前接触到的案例，按照 Agent 和模型的部署地点做了一个总结，大致可以分为以下 5 种：第一种和第二种，Agent 部署在端侧，模型在边和云；第三种和第四种，Agent 部署在边上，模型在边和云；第五种是 Agent 和模型都在云上。