CVPR 2021 Multi-view 3D Reconstruction with Transformer

动机

1. 基于深度CNN的方法在多视图3D物体重建方面达到了SOTA水平。

   从多视图图像中学习3D物体的表示是3D建模、虚拟现实和计算机动画中的一个基本而又具有挑战性的问题。近年来，深度学习方法极大地促进了多视图3D重建问题的研究，其中基于深度卷积神经网络(CNN)的方法在该任务中达到了SOTA水平。

2. 尽管取得了相当大的进展，但这些方法的两个核心模块，即多视图特征提取和融合通常是单独考察的，很少探究不同视图中的目标关系。

   为了从多个输入视图中学习有效的3D表示，大多数基于CNN的方法遵循分而治之的设计原则，其中通常的做法是引入CNN进行特征提取和融合模块来集成多个视图的特征或重建得到。尽管这两个模块之间有很强的关联，但它们的方法设计是分开研究的。另外，在CNN特征提取阶段，很少研究不同视图中的目标关系。虽然最近的一些方法引入了递归神经网络(RNN)来学习不同视图之间的目标关系，但这种设计缺乏计算效率，而且RNN模型的输入视图是对顺序变化敏感的，难以与一组无序的输入视图兼容。

3. 在基于CNN的多视图3D重建方法中，设计一个既能探索视图之间深层关系，又能保持排列不变能力的融合模型仍然是一个困难的任务。Transformer在多视角3D重建中的一个天然优势是，其令牌嵌入可以无序地一层一层的做抽象学习。

4. 近年来的研究也表明，基于CNN的重建方法可能存在模型缩放问题。

   例如，当模型输入超过一定规模，模型的精度就会饱和，显示出通过一大组独立的CNN特征提取单元学习互补知识的难度。

5. 更深层的“注意力均匀性”问题。

   在transformer中，自注意力对“令牌均匀性”有一种强烈的感应倾向，它促进输入令牌的特征表示收敛。然而&