【论文阅读笔记】3D-VLA: A 3D Vision-Language-Action Generative World Model

[写在开头] 深度学习小白，如果有不对的地方请大家多指正，对说的就是你大佬!

论文名称: 3D-VLA: A 3D Vision-Language-Action Generative World Model
论文链接: https://arxiv.org/pdf/2403.09631.pdf

内容速递

这篇文章的主要工作是提出了一个3D场景下的具身大模型，3D-VLA。这个具身大模型在3D-LLM的基础上外挂了diffusion model，从而具有了多模态生成能力，包括RGBD的生成和点云的生成。

Motivation

一方面，近期的VLA领域的工作都聚焦于2D领域，忽略了3D世界的丰富信息，而embodied agent在3D场景下执行任务需要理解3D场景；另一方面，他们的工作都是构建从感知到行动的直接映射，但人类是拥有世界模型的，当人类得到一条指令的时候，他对于未来状态是有一定的预测能力的。
因此，文章尝试构建一个3D场景下的VLA模型，使用diffusion model生成未来状态，显式地表现推理的过程，并以生成内容辅助VLA模型执行action。

Contribution

1. 提出了3D-VLA具身大模型，构建了感知-推理-行动回路，并在一系列任务上取得不错的效果
2. 提出了一个3D场景下的instruction tuning dataset
3. 预训练了适应embodied task的一系列diffusion model

3D Embodied Instruction Tuning Dataset

由于具身场景下的3D数据集很少，于是作者自己构建了一个数据集。
数据集来源主要有两类，第一类是机器人数据集，包括从Open-X Embodiment Dataset收集的12个2D数据集、Dobb-E和RH20T等含深度数据集以及RLBench、CALVIN等仿真数据集；第二类是Human Object Interaction Datasets，比如HOI4D等。
这些数据集大部分都是2D数据集，缺少3D信息。对于缺少深度信息的数据集，作者使用了一个depth estimator（具体是什么没有细讲），得到深度信息后投影到3D点云中得到点云信息。
通过这种方式，作者构建了 2M 的3D language-action 数据对，涵盖了task caption、multimodal goal generation等任务。如下图所示：

3D-VLA

为了增强模型对3D场景的理解，作者设计了一系列tokens。其中，用来标记图片，用来标记物体，<loc 0-255>用来标记位置，以及跟机器人运动有关的<aloc 0-255> <arot 0-255> <gripper 0/1>。
作者使用BLIP2-FlanT5XL 作为预训练的backbone，在训练时解冻Q former的权重和输入输出embedding层的权重。
关于diffusion model，作者进行了两步操作，先预训练再和3D-VLA。
在diffusion model的预训练中，对于RGBD-RGBD的生成，作者使用Stable Diffusion V1.4；对于点云的生成，作者使用Point-E。
在diffusion model的decoder和3D-VLA的对齐阶段，为了align RGBD和点云的生成，作者设计了和 token，使用这两种token用来标记后续diffusion model使用哪种预训练的decoder。此外，作者使用了一个Transformer-based projector，将语言维度特征空间投影到其它模态特征空间。
在对齐阶段，作者使用LoRA微调diffusion model，同时，只训练image和pcd这两个新加token 的embedding层和projector。

Experiments

作者设计的实验分为四个部分，推理能力、定位能力、diffusion model生成能力和机器人动作规划能力。
推理能力实验中，作者比较了3D-VLA、3D-LLM和BLIP2 FlanT5XL在task caption等任务上的性能。

定位能力实验中，作者比较了3D-VLA、Kosmos-2和CoVLM。在实验中，Kosmos-2和CoVLM以zero-shot的方式检测2D bboxes，然后使用深度投影迁移到3D bboxes（感觉有点作弊吧）

生成能力实验结果

这里的without pred bbox的意思是，在推理的时候不把预测的bbox显式地写进prompt，这里我其实没太看懂，在前文也没有特别提到预测 bbox的事情，我觉得可能是写进了作者设计的<loc 0-255>token中。
作者还放了生成图像的效果。最后一行是从互联网上找的图片进行生成，效果其实也还可以。

最后就是机器人运动规划的实验，在RLBench和CALVIN数据集上进行测试，测试结果如下：

Conclusion

总的来说，这篇文章的工作就是提出了3D场景下外挂diffusion model的3D-VLA具身大模型，使用生成能力、以goal-based的方式完成具身场景下的任务，思路还是很清晰的。

以上就是这篇论文3D-VLA: A 3D Vision-Language-Action Generative World Model的阅读笔记，大家可以去读一读。

创作不易，转载请注明出处。