全性保真，不以物累形。

本文探讨了如何通过强化学习 (RL)——一种常用的大型模型微调技术——进一步改进这些 VLA 模型。然而，将在线 RL 直接应用于 VLA 模型会带来重大挑战，包括训练不稳定性（严重影响大型模型的性能）和计算负担（超过大多数本地机器的能力）。为了应对这些挑战，提出了 iRe-VLA 框架，该框架在RL和监督学习之间迭代，有效地改进 VLA 模型，利用 RL 的探索优势，同时保持监督学习的稳定性。

本文研究了 SFT 和 RL 对泛化和记忆的比较效果，重点关注基于文本和视觉的环境。本文通过算术推理纸牌游戏 GeneralPoints 和一个现实世界的导航环境 V-IRL，以评估使用 SFT 和 RL 训练的模型如何在文本和视觉领域泛化到未见变体。结果表明，RL，尤其是在基于结果的奖励下进行训练时，在基于规则的文本和视觉环境中都能泛化。相反，SFT 倾向于记忆训练数据，并且在这两种情况下都难以泛化到分布之外的数据。

由于数学推理复杂性和结构化的性质，对语言模型提出了重大挑战。本文介绍了 DeepSeekMath-7B，它基于DeepSeek-Coder-Base-v1.5-7B 构建，使用 Common Crawl 的 120B 数学相关 token 以及自然语言和代码数据进行预训练。 DeepSeekMath-7B 在不依赖外部工具包和投票技术的情况下，在竞赛级 MATH 基准测试的准确率为 51.7%，接近 Gemini-Ultra 和 GPT-4 的水平。

本文介绍了Janus-Pro，它融合了：1) 优化的训练策略，2) 扩展的训练数据，3) 更大模型参数。Janus-Pro在多模态理解和文本到图像（T2I）指令遵从能力提升显著，同时还增强了文本到图像生成的稳定性。

本文介绍了统一多模态理解和生成的自回归框架 Janus。以前的研究（例如 Chameleon）通常依赖于单个视觉编码器来完成这两个任务。 然而，由于多模态理解和生成所需的信息粒度（information granularity）不同，这种方法会导致性能下降，尤其是在多模态理解。 为了解决这个问题，将视觉编码解耦成独立的路径，同时仍然利用单个统一的 Transformer 架构进行处理。

本文揭示了显著影响 VLA 性能的关键因素，并重点回答三个基本的设计选择：选择哪个主干网络，如何制定 VLA 架构，以及何时添加跨机器人本体的数据。结果表明更倾向于 VLA，并开发了一个新的 VLA 系列 RoboVLMs，它只需要很少的手动设计，并在三个模拟任务和现实世界实验中取得了新的最先进的性能。 通过 8+ 个 VLM 主干网络、4 个策略架构和超过 600 个不同的设计实验，为 VLAs 的未来设计提供了一个详细的指南。

本文提出了 DiVLA，它将自回归模型与扩散模型结合，用于学习视觉运动策略（visuomotor policy）。目标是 next token prediction，使模型能够有效地根据当前观测结果进行推理。随后，连接一个扩散模型来生成动作。为了通过 self-reasoning 增强策略学习，引入了推理注入模块，将推理句子直接集成到策略学习过程中。使用多个真实机器人进行了大量的实验，以验证DiVLA的有效性。

双臂操作由于协调两只机械臂的复杂性（导致多模态动作分布）以及训练数据的稀缺性，开发基础模型极具挑战性。本文提出了用于双臂操作的扩散基础模型 Robotics Diffusion Transformer (RDT)。 RDT 构建在扩散模型的基础上，有效地表征多模态动作分布，并创新性地设计了可扩展的Transformer来处理异质的多模态输入，以学习非线性和高频的机器人数据。

本文介绍了大型专家混合（MoE）视觉语言模型系列 DeepSeek-VL2，在 DeepSeek-VL 基础上做了两个主要升级。视觉组件结合了 Dynamic Tiling 视觉编码策略，旨在处理具有不同纵横比的高分辨率图像。语言组件利用具有多头潜在注意力机制的DeepSeekMoE模型，该机制将键值缓存压缩成潜在向量，以实现高效推理和高吞吐量。在改进的视觉语言数据集上进行训练，在各种任务中展示了优越的能力，包括 VQA、OCR、文档/表格/图表理解和视觉定位（Visual grounding）等。

DeepSeek-V3 是一个强大的专家混合 (MoE) 语言模型，有 6710 亿个参数，每个token激活 370 亿个参数。 为了实现高效的推理和低成本训练，采用了多头潜在注意力 (MLA) 和 DeepSeekMoE 架构。综合评估表明，DeepSeek-V3 的性能优于其他开源模型，并达到了与领先的闭源模型相当的性能。

DeepSeek-R1-Zero 模型通过 RL 进行训练，无需监督微调 (SFT) 作为预备步骤，展现出非凡的推理能力。通过RL，DeepSeek-R1-Zero 自展现出许多强大而有趣的推理行为。然而，它也面临一些挑战，例如可读性差和语言混杂。 为了解决这些问题并进一步提高推理性能，引入了 DeepSeek-R1，它在RL之前结合了多阶段训练和冷启动数据。DeepSeek-R1 在推理任务上的性能可与 OpenAI-o1-1217 相媲美。

当前基于简单逐维度、逐时间步长分箱方案的机器人动作离散标记化方法，在从高频机器人数据中学习灵巧技能时，通常表现不佳。 为了解决这一挑战，本文提出了一种基于离散余弦变换的基于压缩的机器人动作离散分词方案FAST，能够为高度灵巧和高频的任务训练自回归VLA，而标准离散化方法在此类任务中完全失效。

这项工作提出了强化学习蒸馏通才 (Reinforcement Learning Distilled Generalists，RLDG) 方法，该方法利用强化学习生成高质量的训练数据，用于微调通才策略。通过对精密操作任务（如连接器插入和组装）进行广泛的真实世界实验，证明了使用 RL 生成的数据训练的通才策略始终优于使用人工演示训练的策略，成功率提高了 40%，同时更好地泛化到新任务。

本文提出了 Octo，这是一个基于 Transformer 的大型策略，在 Open X-Embodiment 数据集的 800k 轨迹上进行了训练。 它能够以语言命令或目标图像为目标进行执行，并且可以在消费级 GPU 上仅用几个小时即可微调到新的感官输入和动作空间设置。 在 9 个机器人平台的实验中，证明了 Octo 可以有效地微调到新的观察和行动空间。

基于互联网规模的视觉语言数据VLMs和多样化的机器人演示数据训练，构建VLA模型——鲁棒的、可泛化的视觉运动控制策略（Visuomotor Control Policies）。基于预训练模型构建的VLA可以实现物体位置、光照、干扰物体、新颖物体和任务指令的泛化。

提出了一种基于预训练视觉语言模型 (VLM) 的新型 flow matching 架构，以继承互联网规模的语义知识。然后，我们讨论如何在来自多个灵巧机器人平台（包括单臂机器人、双臂机器人和移动机械臂）的大型多样化数据集上训练此模型。我们根据模型通过直接提示执行任务的能力、遵循人类和高级 VLM 策略的语言指令的能力以及通过微调获取新技能的能力来评估我们的模型。结果涵盖了各种各样的任务，例如折叠衣物、清洁桌子和组装盒子。

Genie 是第一个以无监督方式从无标签的互联网视频中训练出来的生成式交互环境。该模型可以通过文本，合成图像，照片甚至草图来生成无穷无尽的可动作控制的虚拟世界。在参数为 11B 时，Genie 可被视为一个基础世界模型。

视频数据捕捉到了难以用语言表达的物理世界的重要信息。本文研究了扩展视频生成功能以解决现实世界中的任务。视频可以作为一个统一的接口，吸收互联网知识并表现不同的任务。此外，视频生成如何像语言模型一样，通过上下文学习、规划和强化学习等技术充当规划器、Agent、计算引擎和环境模拟器。

我们探讨了通过生成建模学习现实世界交互通用模拟器的可能性。我们首先提出了一个重要的观点：可用于学习现实世界模拟器的自然数据集通常在不同维度上都很丰富（例如，图像数据中的丰富物体，机器人数据中的密集采样动作以及导航数据中的各种运动）。

为机器人Agent提供了一个自我引导的建议-生成-学习循环：Agent 首先提出要开发的有趣任务和技能，然后通过用适当的空间配置填充相关物体和资产来生成相应的仿真环境。然后，agent将所提出的高级任务分解为子任务，选择最优学习方法（强化学习、运动规划或轨迹优化），生成所需的训练监督，然后学习策略以获得所提出的技能。

数据集 Ego4D：在规模（时长，相机佩戴者，标注数量，地理位置等），多样性（室内和室外，任务数量等）和真实感（真人佩戴相机）方面更上一层楼的第一视角的日常活动数据集，大多数是无脚本化（不指定相机佩戴者要执行什么活动）和in the wild的。“4D” 的含义是第一视角获取的 3D 空间信息 + 时间信息。5 个基准任务阐明研究课题：涵盖了第一视角感知的基本组成部分——索引过去的经验，分析当前的互动，预测未来的活动。

提出了一个包含多种任务，多种具身环境收集的机器人问答数据集，并探讨了在现有多模态数据集上训练出来的最先进的视觉语言模型能否在现实世界中高精度地执行落地任务。

我们提出了 AutoRT 系统，该系统利用现有的基础模型，在完全看不见的场景中，以最少的人工监督，扩大可操作机器人的部署规模。AutoRT 利用 VLMs 进行场景理解和执行，并进一步利用 LLM 提出多样化的新指令，供机器人机群执行。

提出了一种使用这种粗略轨迹草图的策略调节方法 RT-Trajectory，这是实用的，易于指定的，并且可以让策略有效地执行原本难以执行的新任务。

EUREKA 利用最先进的 LLM 对奖励代码进行进化优化。由此产生的奖励可用于通过强化学习获得复杂的技能。在没有任何特定任务提示或预定义奖励模板的情况下，EUREKA 生成的奖励函数优于人类设计的专家奖励。

研究如何将在互联网规模数据上训练的视觉语言模型直接纳入端到端机器人控制，以提高泛化能力并实现新兴语义推理能力。

通用机器人模型成功的关键之一在于开放式的任务无关的训练，以及能够吸收所有不同机器人数据的大容量架构。本文提出了 Robotics Transformer 模型，其具有良好的可扩展模型特性。

具身智能领域从模拟器到研究的综述。提出的七大特点评估目前的九种具身智能模拟器，本文旨在了解这些模拟器在具身智能研究中的应用及其局限性。最后，本文概述了具身智能的三大研究任务：视觉探索，视觉导航和具身问答（QA），涵盖了最先进的方法、评估指标和数据集。最后，本文将根据对该领域的综述所获得的新见解，为选择任务模拟器提出建议，并为该领域的未来发展方向提出建议。

提出了具身语言模型，将真实世界的连续的传感器模态直接纳入语言模型，从而建立词语与感知之间的联系。模型的输入是多模态句子，这些句子交错了视觉、连续状态估计和文本输入编码。

汇集了 21 家机构合作收集的 22 种不同机器人的数据集，展示了 527 种技能（160266 项任务）

目前在 EVLP 中使用的度量标准可分为 5 类，分别从不同角度测量智能体性能。

解决 EVLP 任务通常需要使用仿真环境和数据集。仿真平台和数据集有助于复现和评估具身智能系统。

解决 EVLP 任务通常需要使用仿真环境和数据集。仿真平台和数据集有助于复现和评估具身智能系统。