【论文阅读笔记】3D-VLA: A 3D Vision-Language-Action Generative World Model

[写在开头] 深度学习小白，如果有不对的地方请大家多指正，对说的就是你大佬!

论文名称: 3D-VLA: A 3D Vision-Language-Action Generative World Model
论文链接: https://arxiv.org/pdf/2403.09631.pdf

内容速递

这篇文章的主要工作是提出了一个3D场景下的具身大模型，3D-VLA。这个具身大模型在3D-LLM的基础上外挂了diffusion model，从而具有了多模态生成能力，包括RGBD的生成和点云的生成。

Motivation

一方面，近期的VLA领域的工作都聚焦于2D领域，忽略了3D世界的丰富信息，而embodied agent在3D场景下执行任务需要理解3D场景；另一方面，他们的工作都是构建从感知到行动的直接映射，但人类是拥有世界模型的，当人类得到一条指令的时候，他对于未来状态是有一定的预测能力的。
因此，文章尝试构建一个3D场景下的VLA模型，使用diffusion model生成未来状态，显式地表现推理的过程，并以生成内容辅助VLA模型执行action。

Contribution

1. 提出了3D-VLA具身大模型，构建了感知-推理-行动回路，并在一系列任务上取得不错的效果
2. 提出了一个3D场景下的instruction tu