24年8月来自谷歌的论文“EmBARDiment: an Embodied AI Agent for Productivity in XR”。
运行由大语言模型 (LLM) 驱动的聊天机器人 XR 设备具有巨大的潜力,可以作为始终在线的智体,实现更好的产品场景。但是,基于屏幕的聊天机器人不会利用 XR 中可用的全套自然输入,包括面向内的传感器数据;而是它过度依赖显式语音或文本提示,有时还会与作为查询的一部分丢弃多模态数据进行配对。提出一种解决方案,利用注意框架,从 XR 环境中的用户操作、眼神注视和上下文记忆中隐式地获取上下文。这最大限度地减少了对设计的显式提示需求,促进扎实而直观的交互,从而为聊天机器人收集用户见解。
大语言模型 (LLM) 的快速发展彻底改变了人机交互,ChatGPT [41]、Claude [5] 和 BARD [20] 等聊天机器人成为与这些强大的 AI 系统互动的主要界面。然而,随着 LLM 的不断发展,它们的潜力不仅限于基于文本的交互,尤其是在扩展现实 (XR) 环境领域。
将 LLM 作为具身的、始终在线的沉浸式智体,集成到增强现实和虚拟现实耳机中,对于改变用户体验和实现无缝的情境感知帮助具有巨大的前景。尽管 LLM 越来越复杂,但当前的聊天机器人实现严重依赖明确的语音或文本提示,通常需要多次迭代才能完善所需的语气和上下文以获得最佳输出,从而导致交互时间过长。
在 XR 环境中,这种方法无法充分利用可用的各种自然输入,因为当代 XR 耳机(如 Meta Quest Pro [36] 和 Apple Vision Pro [6])配备了能够捕获丰富用户数据的内部传感器。尽管 LLM 架构的最新进展(如 Gemini 1.5 [21])旨在支持附加到提示多达 10M 个上下文tokens,但当前 XR 设备中的显式输入模式仍然有限。例如,语音输入估计通用吞吐量仅为每秒 39 位 [14],而 XR 技术中的文本输入仍然繁琐且效率低下 [26]。
如图所示:EmBARDiment 引入一个注意框架,该框架从 XR 环境中的用户视线和上下文记忆中隐式地获取上下文。它使用与显式口头输入捆绑在一起的隐式信息,引出用户和 AI 智体之间落地的交流。
该方法对于 XR 环境特别有用,因为它们具有大视场 (FoV) 显示屏,可以支持多个窗口以执行生产力任务 [7, 42]。虽然可以将这些窗口上的所有可用数据作为上下文提供给 LLM,但这可能会导致数据量过大,从而降低系统响应速度、增加计算负担,并且难以维持细致入微的对话,因为并非所有信息都相关 [31, 29]。因此,将基于显式提示的聊天机器人直接转换为 XR 中的实体智体可能不是最优的。
为了应对这些挑战,提出 EmBARDiment,利用隐式注意框架与上下文记忆相结合,在 XR 环境中启用实体 LLM 智体,如图所示。该解决方案旨在从 XR 环境中的用户动作、眼神注视和视觉显著性中,隐式地得出上下文,从而最大限度地减少对设计显式提示的依赖。因此,要促进高度针对性和直观的交互,根据用户现在和过去的行为和关注点,智体能够推断用户的意图和需求。例如,如果用户正在阅读文档,智体可以访问用户已阅读的内容并将其用作上下文,与查询提示一起生成相关响应。与之前主要关注一次性视觉查询的 XR 凝视研究 [47, 37] 不同,该方法将凝视显着性上下文与 LLM 驱动的持续交互相结合,提供两全其美的解决方案。假设这种方法将增强用户与具身智体的交互,因为它建立了共享的“心智理论”,并提供高度上下文的帮助,有可能将交互简化到自然语言命令的级别,例如“把那个放在那里” [8]。
EmBARDiment 是框架的一个实际示例,实现为一个 XR 应用程序,无缝集成了语音转文本、文本转语音、凝视驱动的显著性和 LLM,从而在多窗口 XR 环境中实现语音交互 AI 智体。该应用程序是使用 Unity [1] 开发的,并部署在 Oculus Quest Pro [36] 上。
代码在 GitHub 下载:https://github.com/anonymous-user/anonymous-repo。
EmBARDiment 具有一个具身 AI 智体,可作为用户交互的主要锚点和界面。AI 智体具身为一个可爱的avatar,旨在通过结合口头和非口头提示来提供引人入胜且直观的体验。当 AI 智体收到来自 ChatGPT-4 API 的响应时,它会使用 Google Cloud 文本转语音 API 生成语音和相应的视素(visemes),实现唇同步和面部动画。这种集成为用户创造了更逼真、更身临其境的体验,模仿了类似人类的交互。AI 智体的具身在建立沉浸感和促进自然交流方面起着至关重要的作用。利用用户的注视和显着性历史,AI 智体可以在不同的窗口中移动,以视觉方式展示对用户当前焦点的共享理解水平。
EmBARDiment 利用多种输入和输出模式来实现用户与具身 AI 智体之间的无缝通信 [43, 19]。用户可以通过按下按键然后说话(键盘上的“V”)来发起口头请求。用户的语音通过 Google Speech-to-Text API [22] 转换为文本,该 API 将音频数据发送到 Google 云并返回转录的文本,然后该文本会动态显示在 AI 智体下方的 UI 面板中,为用户提供视觉反馈。
从 Google Speech-to-Text API 收到最终转录文本后,任何 LLM API 都会对其进行处理以进行自然语言理解和生成。系统会维护聊天记录以保留交互上下文,从而使 AI 智体能够生成相关且连贯的响应。然后,响应会显示在 AI 智体下方的 UI 面板上,再次使用 Google Cloud Text-to-Speech API [23],但现在是将文本转换为语音。这个过程还会产生音素及其对应的视素,用于使人工智能智体的面部表情和唇动与口语同步 [51]。
EmBARDiment 在现有的开源多窗口 XR 环境 WindowMirror 基础上构建并进行了扩展,WindowMirror 可以从 PC 捕获现有窗并在 XR 环境内呈现它们 [9]。EmBARDiment 使用 Google Vision API [24] 处理每个窗框执行光学字符识别 (OCR),提取文本内容及其在框内的位置。将文本的空间位置与来自 XR 耳机的眼动追踪数据相关联,EmBARDiment 可以确定用户当前正在关注哪些文本。该系统会维护用户显著性历史的缓冲区,从而保留文本的顺序以确保连贯性。
为了区分扫视和注视,EmBARDiment 仅记录用户至少注视 120 毫秒的文本,这被认为是阅读过程中有效处理视觉信息所需的最短时间 [46]。系统中的上下文记忆最大容量为 250 个单词,用于实现基本情景记忆,而不是长期记忆。智体上下文记忆的工作原理是,当用户关注新内容时,简单地丢弃旧信息。当用户发出口头请求时,上下文记忆会与用户的查询相结合,并发送到 ChatGPT-4 完成 API 进行处理。这种方法允许 AI 智体生成基于用户当前焦点和显着性历史的响应。每次请求后,上下文记忆缓冲区都会被清除。
如图所示实验条件。(A)基线:未选择上下文信息。(B)完整上下文:选择所有上下文信息。(C)视线:根据视线注视点选择信息。