在荣耀 Magic7 系列发布会上,赵明能通过对手机上的 YOYO 智能体说 “帮我点 2000 杯喝的,适合现在喝的” 成功下单 2000 杯奶茶,主要是通过以下方式实现的:
YOYO 智能体的能力
- 语义理解:YOYO 智能体基于端侧模型对指令进行语义理解,能够识别并解析赵明所说的 “帮我点 2000 杯喝的,适合现在喝的” 这句话,准确提取出关键信息,即点 2000 杯饮品以及要适合当前的饮用场景1。
- 模糊意图处理:除了常规的精准指令,YOYO 智能体还能理解用户的模糊意图并提供精准的操作反馈。对于 “适合现在喝的” 这样较为模糊的表述,YOYO 智能体可以结合当前环境、季节、时间等因素,自动判断并确定合适的饮品类型和规格23。
- 任务规划与执行:YOYO 智能体具备自动执行、一语到位的高阶智慧能力,可以将复杂的点单任务拆解为一系列具体的操作步骤,如打开美团 APP、搜索饮品、选择规格、添加到购物车、结算等,并通过模拟点击等操作自动完成这些步骤,而无需用户明确任务具体实现路径12。
MagicOS 9.0 的支撑
- 魔法大模型家族:MagicOS 9.0 所搭载的全新自研魔法大模型涵盖语言、图像、语音、多模态四大矩阵,让荣耀平台级 AI 在场景感知、用户理解和意图决策方面实现质的飞跃,为 YOYO 智能体的准确理解和高效执行提供了强大的技术支持23。
- 跨应用协同交互:YOYO 智能体可以在自带的应用间进行交互,也可以和第三方应用进行协同交互,因此能够在美团等外卖应用中自动完成点单流程,实现不同应用之间的无缝衔接和协同工作
MagicOS 9.0 系统的跨应用协同交互能力主要体现在以下几个方面:
智能体驱动
- 自然语义理解与任务执行:YOYO 智能体作为 MagicOS 9.0 的核心,具备强大的自然语义理解能力,能够精准解析用户的语音或文字指令,如 “帮我点 2000 杯喝的,适合现在喝的”,并将其转化为具体的任务。然后自动在不同应用间进行切换和操作,完成复杂的任务流程,如打开美团 APP、选择饮品、确定数量和规格、填写配送地址等,而无需用户手动在各个应用之间来回切换和操作16。
- 模糊意图处理:可以理解用户模糊的指令并提供精准的操作反馈。对于 “适合现在喝的” 这样的表述,YOYO 智能体能够结合当前环境、季节、时间等因素,自动判断并确定合适的饮品类型和规格,例如在炎热的夏天推荐冰奶茶,在寒冷的冬天推荐热咖啡等。
魔法大模型家族支撑
全新自研的魔法大模型家族涵盖语言、图像、语音、多模态四大矩阵,能够灵活调配端云资源,适应不同设备部署,显著提升场景感知、用户理解和意图决策能力,为跨应用协同交互提供了更精准的理解和更高效的执行保障。例如,在处理复杂的多应用任务时,多模态大模型可以综合语言、图像等多种信息,更准确地理解用户需求和应用场景,从而更好地协调不同应用之间的交互59。
多种交互功能助力
- 小窗运行功能:允许应用在后台小窗运行,不影响前台的使用。当 YOYO 智能体执行跨应用任务时,如在点奶茶的过程中,相关应用可以在小窗中显示,用户可以继续在前台进行其他操作,如浏览网页、查看消息等,实现多任务并行处理,提高了使用效率,增强了用户体验的沉浸感912。
- 任意门功能:支持指关节交互 “一圈智达”,能够处理更复杂的逻辑与交互内容,实现跨应用服务一步直达。例如,用户可以通过指关节在屏幕上画圈,快速打开需要的应用或进入特定的应用功能界面,无需在桌面或应用列表中寻找,大大缩短了操作路径,提升了跨应用交互的便捷性59。
- 灵动胶囊功能:支持多任务的并行处理,能够实时展示进行中的任务的动态信息,便于查看实时状态、执行快捷操作或快速进入应用。比如在点奶茶的过程中,灵动胶囊可以显示订单状态、配送进度等信息,用户可以通过点击胶囊快速进入外卖应用查看详情或进行其他操作,实现了跨应用的全局触达和快速交互911。
开放生态合作拓展
荣耀致力于打造跨三方应用操作的 AI 智能体,并向合作伙伴推出新一代智慧能力开放架构,与中国移动、百度地图、美团、抖音等众多应用程序合作,共同推出 YOYO 智能体自动操作服务,进一步丰富了用户的使用场景,使跨应用协同交互更加广泛和深入。通过与不同应用的合作,MagicOS 9.0 系统可以更好地整合各方资源和功能,为用户提供更加便捷、智能的跨应用体验