前沿观察：突破场景限制的机器人通用操作数据集

在机器人领域，让机器人能够适应不同环境、完成复杂任务一直是研究人员追求的目标。然而，现有的机器人系统往往只能在特定受控环境下工作，难以适应复杂多变的真实场景。

近日，斯坦福大学、加州大学伯克利分校等13家研究机构联合发布了一个突破性的机器人操作数据集——DROID(Distributed Robot Interaction Dataset)。该数据集首次实现了在大规模真实场景中收集机器人操作数据，为提升机器人的通用性和鲁棒性开辟了新的方向。本文将对DROID的规模、创新点、实验结果等进行了介绍，并对DROID的应用前景进行了展望。

机器人操作泛化性的挑战

在计算机视觉和自然语言处理领域，大规模数据集的出现极大推动了技术进步。ImageNet、Common Crawl等数据集使得模型能够学习到更加通用的特征表示，从而在各种下游任务中都表现出色。相比之下，机器人领域的数据集往往规模较小，且多在实验室等受控环境中采集，这极大限制了机器人系统的泛化能力。近年来，随着人工智能的发展，机器人操作已从实验室走向真实环境。

以往的机器人数据集主要存在两个问题：一是场景单一，通常只在几个固定场景下收集数据；二是任务有限，机器人只能完成少量预设的简单动作。这使得训练出的机器人系统难以适应新环境、新任务的挑战。而机器人操作的核心就在于泛化能力，即在新的场景、光照条件、甚至新的目标物体下也能顺利完成任务。

现有机器人操作数据集大多局限于实验室，场景和任务多样性有限，限制了机器人在实际环境中的泛化能力。DROID等真实机器人操作数据集通过大规模、多样化的数据采集，为机器人操作提供更强的泛化支持，从而实现“即插即用”的机器人应用场景。

DROID数据集的规模与多样性

DROID包含了76,000个操作轨迹（约350小时的交互数据），涵盖564个不同场景、86种任务类型，由来自13个研究机构的50名数据采集人员部署了18台机器人系统，在12个月内完成了数据采集。

场景多样性方面，DROID的564个场景远超此前任何数据集。这些场景包括办公室、实验室、厨房、浴室等各类真实环境，极大丰富了机器人可以学习的场景知识。

任务丰富度方面，DROID包含86种基本动作（如抓取、放置、开关等），并且每种动作都有大量不同物体和场景的组合，这使得机器人能够学习到更加通用的操作技能。

交互位置方面，由于采用移动式机器人平台，DROID记录了工作空间各个位置的操作数据，而不是仅限于桌面等固定区域，这有助于机器人适应各种工作场景。

此外，为了确保数据的质量和一致性，研究团队做了大量技术创新：

首先是硬件标准化。所有数据采集点都使用相同的硬件配置，包括Franka Panda机械臂、Robotiq夹持器、三个立体视觉相机等，这些设备安装在可移动的支架上,方便在不同场景间快速部署。

其次是采集流程规范化。研究团队开发了专门的数据采集GUI界面，会随机提示操作员执行不同任务，确保数据的多样性。同时，系统会定期要求改变相机位置、调整光照等，增加数据的变化程度。

最后是后处理标准化。每个操作轨迹都配有自然语言指令标注，并记录了相机标定、机器人状态等完整信息，这些标准化的处理使得数据能够被广泛使用。

实验结果与性能提升

论文展示了DROID在提升机器学习模型泛化能力方面的显著作用。研究人员在实验室、办公室、家庭等真实环境中测试了六项任务，并通过与现有的数据集（如Open X-Embodiment）的对比验证了DROID的效果。

定性比较：

定性比较（分布外样本场景评估）：

定量比较：

在六项测试任务中，与仅用任务相关数据训练相比，结合DROID训练的模型成功率平均提升了22%。而DROID数据集的多样性使模型在分布外样本场景OOD（out-of-distribution）中的表现更加优秀，无论是加入干扰物、替换操作对象，还是改变操作位置，DROID都帮助模型更有效地适应这些变化。

实验显示，场景多样性是DROID提高模型性能的核心因素，即使在数据集规模相同的情况下，DROID的多场景版本在OOD任务中的表现更优于少场景版本，进一步验证了场景多样性对于构建机器人操作数据集的重要性。

应用前景和未来展望

尽管DROID取得了重要进展，但仍存在一些局限：首先，目前的数据采集仍需要人工远程操作，这在一定程度上限制了数据规模的进一步扩大；其次，虽然场景数量众多，但每个场景的数据量相对有限,可能影响模型学习效果。

未来，该研究团队计划从以下几个方面继续推进数据集的建设：一是扩大数据规模，吸引更多机构参与数据采集；二是探索半自动化采集方案，提高数据采集效率；三是研究如何更好地利用现有数据，比如通过预训练等方式提升模型性能。

DROID的发布代表了机器人学习研究的一个重要里程碑。它不仅提供了迄今最大规模的真实场景机器人操作数据集，更为解决机器人的操作泛化问题提供了新思路。可以预见，随着更多研究者利用这一数据集开展工作，机器人系统在适应复杂环境、完成多样化任务方面将取得更大进展。

开源地址：

DROID: A Large-Scale In-the-Wild Robot Manipulation Dataset