扣子/Coze基于字节跳动边缘智能的场景探索与应用实践

火山引擎开发者社区

已于 2024-08-15 12:14:56 修改

阅读量1.4k

点赞数 43

文章标签：人工智能火山引擎边缘计算大数据云计算

于 2024-08-15 12:09:05 首次发布

本文链接：https://blog.csdn.net/volcenginetod/article/details/141218941

版权

文章来自于火山引擎开发者社区 x 扣子 AI Agent 专题，评论互动活动火热进行中，评论赠送京东卡，前往专题页查看

前往活动专题页参与评论互动，100%获取京东卡！

在大语言模型不断迭代的时候， AI Agent 作为细分发展方向，被科技媒体提到的频次越来越高，甚至有业内预言：Al 下一次浪潮将由 AI Agent 主导。不同于传统的人工智能， AI Agent 具备通过独立思考、调用工具去逐步完成给定目标的能力。维基百科指出， AI Agent 通常是指软件程序，而扣子正是 AI Agent 落地的一种主流形式。

作为新一代 AI 应用开发平台，扣子集成了近百款插件，包括资讯阅读、效率办公、图片理解等 API 及多模态模型，扣子提供方便 AI 交互的数据库记忆能力，以便于让 AI 持久记住对话的重要参数或内容，最友好的是，扣子提供大量灵活可组合的节点，包括大语言模型 LLM 、自定义代码、判断逻辑等，支持用户通过拖拉拽的方式快速搭建工作流。通过扣子，即使是毫无编程基础的用户，也可以快速搭建基于大模型的各类 Bot ，并完成发布。

扣子常常被用于搭建 Chat Bot ，完成聊天交互、信息查询、技术支持等，而扣子其实拥有更多可能性，比如通过扣子让大模型更好地与生产融合，为企业创造更多价值。打造企业的 AI 生产力，也许是 AI Agent 走向市场的下一个考题，但想让大模型走进生活、生产现场，还面临着这些挑战。

限制 AI Agent 联动物理世界的难点

感知与输入：以扣子为例，在读取数据能力上，扣子支持 TXT 等本地文件、在线网页数据、 Notion 页面及数据库、API JSON 等多种数据源，也支持文本、表格、照片等多种格式，相较于大语言模型较单一的文本输入，扣子已经提供了丰富的格式支持，但物理世界需要处理多种类型的感官输入，如视觉、听觉、触觉等，将这些非结构化的感官数据转换为 AI Agent 能够理解的格式是一个极大的挑战。
物理交互：以扣子为例，即使扣子通过 API 连接集成各种平台和服务，扩展了 Bot 能力，例如使用新闻插件来搜索新闻，使用搜索工具查找在线信息等，但物理世界需要与真实的物体进行接触、控制等动作， AI Agent 没有像人类或机器人那样可以控制的肢体，执行物理交互任务也是一大挑战。
实时性：当遇到需要迅速做出反应的场景时，如自动驾驶中的紧急刹车决策、工业生产中的故障预警等。智能体可能无法在短时间内对大量的数据进行处理和分析，并做出及时准确的决策，这是 AI Agent 在实时应用中的局限性。
决策与行动：以扣子为例，扣子提供的工作流能力，支持通过可视化的方式，对插件、大语言模型、代码块等功能进行组合，从而实现复杂、稳定的业务流程编排，例如旅行规划、报告分析等。但物理世界充满了不确定性和动态变化， AI Agent 需要基于感知做出具体的决策并执行行动，这需要智能体具备决策制定和行动优化的能力。

面对这些难题，火山引擎边缘智能平台为智能体 AI 应用拓展到物理世界提供了可行的解决方案。

边缘智能拓展 AI Agent 物理边界

火山引擎边缘智能，是一款针对企业现场业务设计，帮助简化大模型应用开发流程，让企业能够轻松打造自己的“ AI 生产力”的智能化平台。

同时，结合 AI Agent 发展趋势，火山引擎边缘智能围绕行业需求构建了从底层边缘基础设施到 PaaS 平台的全链路服务能力，帮助 AI 智能体应用拓展到物理世界。

（一）丰富的设备接入能力

边缘智能具备丰富的设备接入能力、强大的设备管理能力，支持从端侧设备到边缘平台的数据采集通道的构建，覆盖主流的物联网协议，例如 Modbus、OPC UA、IEC 电力协议，以及多媒体类设备的 ONVIF、GB28181 等，能够将常见的各类设备，如家用的摄像头、工厂的设备等等，纳入统一的管理体系。进行监控、配置、更新和维护的全生命周期管理，确保设备高效安全地运行。

（二）边缘推理

边缘智能拥有超 50 种场景算法和模型应用，涵盖了各类行人、车辆以及各类行为检测的模型，甚至还包括多模态大模型。无论是在交通流量监控中准确识别车辆和行驶轨迹，还是在公共场合中检测异常行为，边缘智能的 AI 模型都能够发挥关键作用。多模态大模型更是能够融合多种数据，比如视觉和文本等，从而提供零样本基础的识别和理解能力。

（三）数据处理

在边缘侧，边缘智能通过现场边缘的数据采集能力，配合在近场/云边缘的数据处理、推理能力，能够完成数据的边缘聚合及视频数据结构化：

时序数据处理：时序数据处理能够实时高效地分析各类时序的数据，比较各类传感器等。传感器持续产生大量的时序数据，如温度、湿度、压力等，边缘智能可以迅速捕捉这些数据，并通过先进的算法进行实时分析，及时发现潜在的趋势和异常。
视频数据处理：通过对接各类 AI 模型，边缘智能能够对视频数据进行深入分析，从而得到结构化的数据。例如，可以准确识别视频中的各类检测事件的触发，如人员入侵、车辆违规等。这在安防领域具有巨大的应用价值，能够为公共安全提供有力的保障。

（四）与现场设备保持连接 边缘智能 aPaaS 工具提供了一个标准的运行环境，允许从边缘智能控制台下发的程序在一体机上运行。这些程序包括驱动、应用、模型。同时，边缘智能 aPaaS 工具会将来自现场设备的本地数据上传到边缘智能控制台，使边缘智能控制台与现场设备保持连接。

（五）按需上云

对于部分数据上云的场景，边缘智能提供数据流转方案，实现原始数据或处理后数据的按需上云，可对接主流物联网平台、视频云平台，或通过消息中间件对接数仓平台。

边缘智能 x 扣子，助力企业轻松打造“ AI 生产力”

为更好地助力 AI 应用走进千行百业，火山引擎边缘云在 AI Agent 与边缘智能的结合应用上持续进行探索，并在智慧工厂、智能园区安防、智能家居等场景成功落地。

智能工厂助手

在智能工厂中，边缘智能与扣子的结合能发挥出巨大作用。通过边缘智能联合扣子，帮助工厂管理者只需通过手机、平板等移动设备，即可实时查询生产线情况、掌握生产数据，并通过扣子定时巡检，保证生产效率和质量，进一步提高管理水平。下面是一个应用示例：

接入传感器：将各类传感器接入边缘智能，通过边缘智能对设备进行数据采集和管理。
创建时序数据：为每一个产线设备创建对应的分析时序数据流，可对产线设备的数据做实时分析处理。比如当产线的温度和湿度超过一定的阈值后就进行告警。

通过代码，搭建时序数据的实时处理流程。

创建智能工厂管理助手 Bot ：在扣子创建一个智能工厂管理助手 Bot ，并配置插件和工作流。让智能助手实时获取当前工厂的信息，并通过扣子的触发器功能，对工厂的设备状态进行定时巡检。

智能园区安防助手

通过使用边缘智能的 AI 视频数据处理能力，扣子能成为智能园区安防的得力助手。它能够实时分析园区内各个摄像头的视频数据，迅速识别出异常情况，如非法入侵、人员聚集、车辆违规停放等。一旦发现异常，就会立即触发警报，并将相关信息推送至扣子智能体 Bot ，结合飞书的消息推送，管理人员可以快速响应。下面是一个应用示例：