智体AI在多模态交互领域的综述（下）

24年1月论文“Agent AI: surveying the horizons of multimodal interaction“，来自斯坦福、微软、UCLA和华盛顿大学。

智体AI应用任务

游戏

游戏提供了一个独特的沙盘来测试LLM和VLM的智体行为，突破了它们的协作和决策能力的界限。特别是三个领域，强调了智体与人类玩家和其他智体互动的能力，以及在环境中采取有意义行动的能力。

在现代游戏系统中，非玩家角色（NPC）的行为主要由开发者精心制作的预定义脚本决定。这些脚本包含基于游戏环境中的各种触发器或玩家动作的一系列反应和交互。然而，这种照本宣科的性质往往会导致可预测或重复的NPC行为，这些行为无法响应玩家的动作或游戏的动态环境而演变。这种刚性阻碍了动态游戏环境中的沉浸式体验。因此，人们对利用LLM来诱导NPC行为的自主性和适应性，使互动更加微妙和吸引人越来越感兴趣。人工智能驱动的NPC可以从玩家的行为中学习，适应不同的策略，并提供更具挑战性和不太可预测的游戏体验。大语言模型（LLM）可以显著促进游戏中NPC行为的发展。通过处理大量文本，LLM可以学习模式，并生成更多样、更人性化的响应。它们可以用来建立动态对话系统，使与NPCs的互动更具吸引力，更不可预测。此外，LLM可以根据玩家的反馈和游戏中的数据进行训练，不断完善NPC的行为，使其更适应玩家的期望和游戏动态。

人类玩家和NPC之间的互动是游戏体验的一个关键方面。传统的互动模式主要是一维的，NPC以预设的方式对玩家的输入做出反应。这种限制扼杀了更有机、更丰富的互动的潜力，类似于虚拟领域中的人与人的互动。LLM和VLM技术的出现有望改变这一范式。通过使用这些技术，游戏系统可以分析和学习人类行为，以提供更多类似人类的互动。这不仅增强了游戏的真实性和参与度，而且为探索和理解在受控但复杂的环境中的人机交互提供了一个平台。

游戏是日常生活不可分割的一部分，据估计，世界上一半的人口参与其中。此外，它还表现出对心理健康的积极影响。然而，当代游戏系统在与人类玩家的互动方面存在不足，因为其行为主要是由游戏开发者手工制作的。这些预先编程的行为往往无法适应玩家的需求。因此，在游戏中需要新的人工智能系统，该系统可以分析玩家的行为，并在必要时提供适当的支持。智能交互系统有可能彻底改变游戏玩家与游戏系统的交互方式。NPC与游戏玩家的互动不再受游戏开发商设计的受限规则集限制。它们有可能无缝适应游戏玩家的体验，提供及时的反馈，丰富游戏体验，提升人机交互的协同作用。

LLM可以作为一个强大的工具来分析游戏中的文本数据，包括聊天日志、玩家反馈和叙述内容。它们可以帮助识别玩家行为、偏好和互动的模式，这对游戏开发者改进游戏机制和叙事来说是非常宝贵的。此外，VLM可以解析来自游戏会话的大量图像和视频数据，以帮助分析游戏世界中的用户意图和动作。此外，LLM和VLM可以促进游戏中智体的开发，这些智体可以复杂和人性化的方式与玩家和其他智体进行通信，增强整体游戏体验。除了LLM和VLM之外，用户输入数据为创建游戏智体提供了一条很有前途的途径，该智体通过模仿人类玩家来模拟感知、游戏玩法和游戏理解。通过结合玩家互动和反馈、像素输入以及自然语言规划和理解，智体模型可以帮助不断改进游戏动态，推动游戏环境以玩家为中心的发展。

场景合成是创建和增强沉浸式游戏环境的重要组成部分。它需要在游戏中自动或半自动生成三维（3D）场景和环境。这个过程包括地形的生成、目标的放置、逼真照明的创建，有时甚至包括动态天气系统。现代游戏通常以广阔、开放的世界环境为特色。手动设计这些景观可能非常耗时且资源密集。自动地形生成，通常利用程序化或人工智能驱动的技术，可以用较少的手动操作生成复杂、逼真的地形。LLM和VLM可以利用互联网规模的知识来制定规则，设计视觉上令人印象深刻和独特的非重复景观。此外，LLM和VLM可用于确保生成资产的语义一致性和可变性。以逼真和美观的方式将建筑物、植被和其他元素等目标放置在场景中对于沉浸感至关重要。

VLM和LLM可以通过遵守预定义或学习的规则和美学来帮助放置目标，从而加快游戏级别设计过程。VLM和LLM可以接受进一步的训练，理解设计和美学的原则，从而有助于内容的程序生成。它们可以帮助制定程序算法可以遵循的规则或指导方针，以生成既有视觉吸引力又适合上下文的目标和场景。

逼真的照明和大气效果是创造一个可信和引人入胜的游戏环境的基础。先进的算法可以模拟自然光照条件和动态天气效果，增强场景的真实感和情绪。LLM可以帮助开发系统，以几种创新的方式获得更逼真的照明和大气效果。VLM可以分析来自真实世界照明和大气条件的大量数据集，帮助开发更逼真的算法来模拟游戏中的这些效果。通过了解自然光和天气的模式和复杂性，这些模型可以有助于开发接近现实的算法。LLM和VLM还可以用于开发基于玩家动作、游戏状态或外部输入实时调整照明和大气效果的系统。它们可以处理玩家的自然语言命令，修改游戏环境，提供更具互动性和沉浸式的体验。

机器人

机器人是需要与环境进行有效互动的代表性智体。

视觉运动控制。视觉运动控制是指将视觉感知和运动动作相结合，以在机器人系统中有效执行任务。这种集成至关重要，因为它使机器人能够解释来自其环境的视觉数据，并相应地调整其运动动作以与环境准确互动。例如，在装配线上，配备了视觉马达控制的机器人可以感知物体的位置和方向，并准确地对齐其机械手以与这些物体交互。这种能力对于确保从工业自动化到帮助老年人做日常家务等众多应用程序中机器人操作的准确性和有效性至关重要。此外，视觉运动控制有助于机器人适应环境状态可能快速变化的动态环境，需要基于视觉反馈对运动动作进行实时调整。

此外，在安全操作的背景下，视觉信息对于检测执行错误和确认每个机器人动作的前后条件至关重要。在不受控制的环境中，如未知的家庭环境，由于家具形状的变化、照明的变化和打滑等不可预测的因素，机器人更有可能面临意想不到的结果。在这些情况下，仅以前馈方式执行预计划的行动规划可能会带来重大风险。因此，利用视觉反馈不断验证每一步的结果是确保机器人系统稳健可靠运行的关键。

语言为条件操纵。语言为条件操纵需要机器人系统基于语言指令解释和执行任务的能力。这一方面对于为人机交互创建直观和用户友好的界面尤其重要。通过自然语言命令，用户可以以类似于人类交流的方式向机器人指定目标和任务，从而降低操作机器人系统的障碍。例如，在实际场景中，用户可以指示服务机器人“从桌子上捡起红苹果”，机器人将解析该指令，识别所引用的目标并执行捡起它的任务（Wake，2023c）。核心挑战在于开发强大的自然语言处理和理解算法，这些算法可以准确地解释从直接命令到更抽象指令的各种指令，并使机器人能够将这些指令转换为可操作的任务。此外，确保机器人能够在不同的任务和环境中推广这些指令，对于增强其在现实世界应用中的通用性和实用性至关重要。在名为任务和运动规划的机器人框架背景下，使用语言输入来指导机器人的任务规划已经引起了人们的关注（Garrett，2021）。

技能优化。最近的研究强调了LLM在机器人任务规划中的有效性。然而，任务的最佳执行，尤其是那些涉及抓取等物理交互的任务，需要对环境有更深入的了解，而不仅仅是简单地解释人类指令。例如，机器人抓取需要精确的接触点（Wake，2023e）和手臂姿势（Sasabuchi，2021）才能有效地执行后续动作。虽然这些元素——精确的接触点和手臂姿势——对人类来说是直观的，但通过语言表达它们是具有挑战性的。尽管互联网规模的VLM取得了进步，但从场景中捕捉这些细微的间接线索并将其有效转化为机器人技能仍然是一个重大挑战。作为回应，机器人界越来越专注于收集增强的数据集，例如（Wang，2023d；Padalkar，2023），或开发从人类演示中直接获得技能的方法（Wake，2021a）。包括示范学习和模仿学习在内的框架正在引领这些发展，在优化身体技能方面发挥着至关重要的作用。

如图是机器人教学系统概述，该系统集成了ChatGPT赋能的任务规划器。该过程包括两个步骤：任务规划，用户使用任务规划器创建动作序列，并根据需要通过反馈调整结果；演示，用户直观地演示动作序列，提供机器人操作所需的信息。视觉系统收集将用于机器人执行的视觉参数。

如图是通过自动生成的反馈调整输出序列的示例。用开源模拟器VirtualHome进行实验。根据“把馅饼放在桌子上，用炉子加热”的指示，任务规划器计划了VirtualHome中提供的一系列功能。如果检测到执行中的错误，任务计划器将根据自动生成的错误消息更正其输出。

如图所示利用GPT-4V和GPT-4的多模态任务规划器概述。该系统处理视频演示和文本指令，生成机器人执行的任务规划。

如图是视频分析器的输出示例。以规则的间隔提取这五个帧，并将其馈送到GPT-4V中。

如图利用GPT-4V的场景分析器得到输出示例。

如图视觉语言导航（VLN）任务的具身智体演示（Wang，2019）。显示了自上而下视图中的指令、局部视觉场景和全局轨迹。智体无权访问自上而下的视图。路径A是遵循指令的演示路径。路径B和C是由智体执行的两个不同路径。

健康保健

在医疗保健领域，LLM和VLM可以充当诊断试剂、患者护理助理，甚至治疗辅助工具，但它们有着独特的排行委员会和职责。随着人工智能试剂在改善患者护理和挽救生命方面的巨大潜力，也出现了同样危险的可能性，即滥用或仓促部署人工智能试剂可能危及全球数千或数百万人。

如图所示在医疗图像理解领域内使用GPT-4V时的示例提示和响应。从左到右：（1）护士和医生进行CT扫描的图像，（2）不规则心电图扫描的合成图像，以及（3）来自ISIC（Codella，2018）皮肤损伤数据集的图像。可以看到，GPT-4V具有重要的医学知识，并且能够对医学图像进行推理。然而，由于安全训练，它无法对某些医学图像进行诊断。

多模态智体

视觉和语言理解的结合对于开发复杂的多模态人工智能智体至关重要。这包括图像字幕、视觉问答、视频语言生成和视频理解等任务。

如图所示，交互式多模态智体包括四个主要支柱：交互、语音、视觉和语言。Co-pilot智体由不同的服务组成：1） 交互服务有助于建立一个统一的自动化行动、认知和决策平台；2） 音频服务将音频和语音处理集成到应用程序和服务中；3） 视觉服务识别和分析图像、视频和数字墨水中的内容。4） 语言服务从结构化和非结构化文本中提取意义。

如图是强化神经知识（INK）任务的示例（Park，2022），该任务使用知识从一组文本候选中识别与图像相关的文本。任务包括从网络检索视觉和文本知识以及人工标注知识。

如图是KAT模型（Gui et al.，2022a）使用基于对比学习的模块从显性知识库中检索知识条目，并使用GPT-3检索具有支持证据的隐性知识。知识的集成由相应的编码器Transformer处理，并与推理模块和解码器Transformer一起通过端到端的训练来生成答案。

如图是VLC模型的总体架构（Gui，2022b）。模型由三个模块组成：（1）模态-特定投影，用简单的线性投影来嵌入补丁图像，并使用单词嵌入层来嵌入token化文本；（2） 多模态编码器。用从MAE（He，2022）初始化的12层ViT（Dosovitskiy，2021）（无标注ImageNet-1K）作为主干；（3） 特定于任务的解码器，通过掩码图像/语言建模和图像-文本匹配来学习多模态表示，这些仅在预训练期间使用。用2层MLP来微调多模态编码器，用于下游任务。重要的是，掩码图像建模目标（objective）在整个第二阶段的预训练中都很重要，而不仅仅是对视觉Transformer的初始化。

视频-语言实验

为了理解将预训练的图像LLM转换为视频理解的实用性，暂时扩展并微调用于视频字幕的InstructionBLIP（Dai，2023）。具体而言，用与Frozen in Time（Bain，2021）相同的划分时空注意方案扩展InstructBLIP的视觉编码器，即EVA-CLIP-G（Sun，2023b），并在训练期间保持Q- former和LLM，即Flan-T5-XL（Chung et al.，2022），一直冻结。冻结视觉编码器的所有空间层，同时在字幕训练期间保持时域层不冻结。这允许模型将图像和视频作为输入（与InstructBLIP的图像级性能相匹配）。在WebVid10M的500万视频字幕子集上进行训练（Bain，2021）。如图可视化了两个示例输出。然而，现有的智体无法完全理解视频内容中精确、细粒度的视觉细节。视觉教学调整方法也存在类似的局限性，它们缺乏人类层面的一般感知能力，而这些能力仍有待于多模态模型和智体来解决。

经过指令调整的模型有望准确总结视频中的可见动作，并有效识别图中的“坐在长椅上的人”等动作。然而，它们有时会添加不正确的细节，例如“对着镜头微笑的人”，这表明在捕捉对话主题或视频氛围方面存在不足，而这些元素对人类观察者来说是显而易见的。这一不足突显了另一个关键的局限性：省略音频和语音模态，这将丰富视频对上下文的理解，有助于更准确的解释，并防止此类失实陈述。弥合这一差距需要对现有的模态进行全面整合，使多模态智体达到类似于人类感知的理解水平，并确保视频解释采用完全多模态的方法。

如图是音频多模态智体。幻觉内容以红色突出显示。用GPT-4V生成1）带有视频帧的视频聊天摘要；2） 具有帧字幕的视频摘要；3） 具有帧字幕和音频信息的视频摘要。

如图是一种交互式多模态智体，结合了视觉、音频和文本模态，用于视频理解。该流水线挖掘出严重的负面幻觉，为VideoAnalytica挑战产生困难的查询。

NLP智体

几十年来，识别任务指令并采取行动一直是交互式人工智能和自然语言领域的一项基本挑战。随着深度学习的最新进展，人们对联合研究这些领域改善人类-智体协作越来越感兴趣。有三个具体方向可以改进基于语言的智体：

工具使用和知识库查询。这个方向强调了将外部知识库、网络搜索或其他有用工具集成到智体推理过程中的重要性。通过利用来自各种来源的结构化和非结构化数据，智体可以增强理解，并提供更准确和上下文感知的响应。此外，它还促进智体在面对不熟悉的场景或查询时主动寻找信息的能力，确保做出更全面、更明智的回应。例子包括Toolformer（Schick，2023）和Retrieve What You Need（Wang，2023g）。
改进智体推理和规划。增强智体推理和规划的能力是有效的人-智体协作的关键。这涉及到开发能够理解复杂指令、推断用户意图和预测未来潜在场景的模型。这可以要求智体反思过去的行为和失败来实现，如ReAct（Yao，2023a），或者通过将智体的思维过程构建为一种搜索形式（Yao，2023b）。通过模拟不同的结果并评估各种行动的后果，智体可以做出更明智的上下文感知决策。

整合系统和人员反馈。人工智能智体通常可以在两个主要环境中运行：提供关于其行为有效性明确信号的环境（系统反馈），以及与可以提供口头批评的人类进行合作的环境（人类反馈）。这一方向强调自适应学习机制的必要性，该机制允许智体完善其策略并纠正错误，例如在AutoGen中（Wu，2023）。从不同的反馈来源不断学习和适应的能力确保了智体对用户需求保持帮助和一致性。

LLM智体的创建已经成为一个重要的研究领域，该智体可以训练有效地遵循人类指令。最初的模型使用人类反馈来训练智体奖励模型，通过一个称为人类反馈强化学习（RLHF）的过程来模拟人类偏好（Ouyang，2022）。此过程生成了InstructGPT和ChatGPT等模型。为了在不需要人类标签的情况下更有效地训练指令跟从的LLM智体，研究人员开发了一种更有效的指令调整方法，该方法直接在指令/响应对去训练LLM智体。指令/响应是由人类（如Dolly 2.06）生成的，也是由LLM（如Alpaca）自动生成的（Taori，2023）。如图显示了整个Alpaca训练流程。

如图逻辑Transformer智体模型（Wang，2023e）。将逻辑推理模块集成到基于transformer的抽象摘要模型中，赋予逻辑智体对文本和对话逻辑进行推理的能力，从而使其能够生成更高质量的抽象摘要，并减少事实错误。

如图是一个提出的NLP智体架构（Wang，2023g）相互学习框架。在每个epoch中，阶段1和阶段2交替执行。在阶段1期间，阅读器模型的参数保持固定，并且仅更新知识选择器的权重。相反，在第二阶段，读者模型的参数会被调整，而知识选择器的权重会保持冻结。

智体AI跨域、模态和实际存在

虚拟-真实的迁移

这是在模拟中训练的模型能够在现实世界中部署的技术。具身智体，尤其是基于RL策略的智体，通常在模拟环境中进行训练。这些模拟并不能完全复制现实世界的特征（例如，扰动、光、重力和其他物理特性）。由于模拟和现实之间的这种差异，在模拟中训练的模型在现实世界中应用时往往难以表现良好。这个问题被称为“模拟-现实”问题。为了解决这个问题，可以采取几种方法：

•域随机化：域随机化是一种训练模型的技术，同时在模拟环境中随机改变参数（例如，物体外观、传感器噪声和光学特性），预测现实世界的不确定性和变化（Tobin，2017）。例如，在训练基于RL抓握技能的背景下，在物体形状中引入随机性可适应形状有所不同目标的策略（Saito，2022）。
•域自适应：域自适应或域迁移是一种用大量模拟图像和较小的真实世界图像集训练模型来弥合模拟域和真实世界域之间差距的技术。在实际应用中，由于难以跨域准备成对图像，因此使用诸如CycleGAN（Zhu，2017b）之类的不成对图像-到-图像的翻译方法。存在几种增强版本用于强化学习，包括RL CycleGAN（Rao2020），以及用于模仿学习，如RetinaGAN（Ho2021）。
•模拟的改进：真实模拟是模拟-到-真实迁移的关键。这项工作的一部分是通过系统识别技术实现的（Zhu2017c；Allevato2020），该技术旨在识别模拟真实世界环境的模拟参数。此外，在基于图像的强化学习中，使用真实感模拟器将是有效的（Martinez Gonzalez，2020；Müller，2018；Shah，2019；Sasabuchi，2023）。

智体AI的持续和自改进

目前，基于基础模型的人工智能智体有能力从多个不同的数据源中学习，这为训练提供了更灵活的数据源。这样做的两个关键结果是：（1）基于用户和人的交互数据可以用于进一步细化和改进智体；（2）现有的基础模型和模型工件可以用于生成训练数据。

由于当前的人工智能智体在很大程度上与现有的预训练基础模型有关，它们通常不会从与环境的持续交互中学习。这是一个令人兴奋的未来方向，Bousmalis的初步工作表明（Bousmaliss，2023），用于机器人控制的自改进智体能够在没有监督的情况下通过环境交互不断学习和改进。

随着学术界和工业界产生的强大基础模型工件出现，已经开发了各种方法来使用各种提示和数据配对技术从这些工件中提取和生成有意义的训练数据。

LLM指令调整。根据LLM的训练数据生成指令的方法，允许根据较大的专有LLM输出对较小的开源模型进行微调（Wang，2022b），例如，Alpaca（Taori，2023）和Vicuna（Zheng，2023）。这种指令调整方法可以被视为知识蒸馏的一种形式，其中较大LLM充当较小学生模型的教师模型。重要的是，尽管LLM指令调整已被证明可以将教师模式的写作风格和一些指令跟随能力转移到学生模式，但教师和学生模式的真实性和能力之间仍存在显著差距（Gudibande，2023）。
视觉-语言配对。最近的一些工作试图通过自动生成视觉内容的字幕和其他文本来增加视觉语言模型可用预训练数据的多样性。例如，LLaVA（Liu，2023c）使用了150000个来自主要由LLM生成的文本和视觉输入的指令跟随行为示例。其他工作表明，使用VLM对图像重新加字幕可以提高图像生成模型的训练数据和后续质量（Segalis2023）。在视频理解领域，使用VLM和LLM来重打视频字幕，已被证明可以提高在重打字幕视频上训练的后续VLM性能和质量（Wang2023f；Zhao2022）。

智体数据集和排行榜

作者分别为多智体游戏和多智体视觉语言任务提出了两个基准。发布两个新数据集-“CuisineWorld”和“VideoAnalytica”-以及一组基线模型，鼓励参与者探索新的模型和系统，并将结果提交到排行榜的测试集上。

更广泛影响声明

首先，希望让人工智能研究人员开发出基于游戏、机器人、医疗保健和长视频理解等现实世界问题的解决方案。具体而言，游戏中多模态智体的发展可能会带来更具沉浸感和个性化的游戏体验，从而改变游戏行业。在机器人领域，自适应机器人系统的发展可能会彻底改变从制造业到农业的各个行业，有可能解决劳动力短缺问题并提高效率。在医疗保健领域，LLM和VLM作为诊断剂或患者护理助理的使用可以带来更准确的诊断，改善患者护理，并增加获得医疗服务的机会，特别是在服务不足的地区。此外，这些模型解释长时视频的能力可能具有深远的应用，从增强在线学习到改进技术支持服务。

其次，希望能成为人工智能从业者和研究人员的宝贵资源，成为探索和深入理解在各种环境和情况下实施人工智能智体所带来的多样性和复杂性的排行榜。例如，这一探索包括了解为医疗诊断等专业部门开发的智体人工智能系统的具体局限性和潜在危害。在这个领域，人工智能行为中的危险幻觉等问题可能会带来重大风险，这突出了细致设计和测试的迫切需要。然而，在考虑为游戏行业打造的人工智能智体时，这些特定的排行榜可能并不同样重要或引人注目。在这样的娱乐领域，开发人员可能会优先考虑解决不同的障碍，例如人工智能需要进行更开放的生成并展现创造力，动态适应不可预测的游戏场景和玩家互动。希望深入了解这些不同的环境如何决定人工智能发展的重点和方向，以及如何最好地定制人工智能解决方案以满足这些不同的需求并克服相关的领导层。

第三，各种元素，包括专家演示、信息海报，尤其是两个排行榜的获胜者，将对多模态智体领域的最新和重要趋势、研究方向和创新概念提供实质性而简洁的概述。其概括关键的发现和发展，揭示多模态智体人工智能领域的新系统、想法和技术。这些知识希望加深对该领域的理解和专业知识。可以发现和了解指导多模态智体人工智能未来的前沿进步和创造性想法。

道德考虑

多模态智体人工智能系统有许多应用。除了交互式人工智能之外，落地的多模态模型还有助于推动机器人和人工智能智体的内容生成，并有助于生产力应用，帮助重新播放、转述、动作预测或合成3D或2D场景。人工智能的落地进步有助于实现这些目标，许多人将受益于对如模拟现实或真实世界中建模具身和同理的更好理解。可以说，其中许多应用程序都有积极的好处。

然而，这项技术也可能被坏人利用。生成内容的人工智能智体系统可以用来操纵或欺骗人们。因此，根据负责任的人工智能准则开发这项技术是非常重要的。例如，明确地向用户传达内容是由人工智能系统生成的，并为用户提供控件以定制这样的系统。智体AI有可能用于开发检测操纵内容的新方法，部分原因是它富有大基础模型的幻觉性能，从而有助于解决另一个现实世界问题。

多样性声明

重要的题目包括也不限制于以下几点：

基础模型的应用：开发具有集成模态（音频、图像、文本、传感器输入）的智体，旨在增强其对各种应用的识别和响应能力。
通用端到端系统：开发用大规模数据训练的端到端模型，寻求创建通用且适应性强的人工智能解决方案。
落地模态的方法：整合各种模态的信息，提高数据处理的一致性和有效性。
直观的人机界面：开发人与智体之间有效且有意义的互动。
驯服LLM/VLM：探索新的方法来解决大模型中的常见问题，如输出中的幻觉和偏见。