[ICLR-24] LRM: Large Reconstruction Model for Single Image to 3D

[pdf | proj | code]

本文首次提出大型重建模型（Large Reconstruction Model, LRM），实现5s内对单图物体的3D重建。在128张A100（40G）上训练30 epochs。

LRM包含三个部分，具体框架如下：

• 图片编码（Image Encoder）：通过DINO提取图片特征，例如：对512 x 512 x 3的图像，可以得到32 x 32 x 768的特征。
• 图片-Triplane解码（Image-to-TriPlane Decoder）：基础框架为Transformer，每个模块包含三个组件：Cross-Atten、Self-Atten和MLP。
  • 在每个组件中，都包含相机特征调控（Modulation with camera features），将相机外参和相机内参映射为高维向量，通过adaptive layer norm (adaLN)调节输入特征：，其中c是图像特征，预测的beta和gamma用于调节LN标准化后的输入特征。
  • 在Cross-Atten中，可学习位置编码（Learning positional embeddings）作为query，和图像特征融合。
  • 解码部分可表达为下式：

• TriPlane-NeRF：首先将低分辨的Triplane tokens（3 x 32 x 32）提升分辨率为（3 x 64 x 64）。其次，以类似EG3D的方式渲染图像并训练。

在训练时，LRM使用了Objaverse和MVImgNet作为训练集，训练图像都去除背景。训练目标为重建损失，包含MSE和LPIPS：

在推理时，LRM仅需要图片，输入相机参数为默认标准相机参数【参考代码】：

更多实验结果：

与One-2-3-45的比较：

一些bad cases：

消融实验：

数据：

训练中使用的视角数量：

scale-up：