[ICLR-24] Instant3D: Fast Text-to-3D with Sparse-view Generation and Large Reconstruction Model

[pdf | code | proj]

如下图所示，Instant3D可在20s内快速生成高质量3D模型。LRM仅使用单图作为重建输入。本文提出使用Multi-view Diffusion Model得到四个视角图片，在image encoder中编码四个视角图片，concat在一起后送入后续的image-to-triplane decoder网络。

方法

本文方法包含两个部分：1）通过multi-view diffusion model生成多视角图片；2）通过重建模型生成对应的3D目标。

Text-conditioned Sparse View Generation

• Instant3D基于Objaverse数据集fine-tune了SDXL模型。给定文本，该模型生成该文本对应的四个角度图像（一张图片中包含2 x 2的多视角图片）。
• Multi-view data creation and curation。
  • 数据准备：对Objaverse中750K物体渲染4个512 x 512，elevation固定在20度，azimuths是0, 90, 180, 279。使用Cap3D为每个3D物体生成captions；
  • 存在问题：使用所有数据fine-tune，会减弱生成图像的真实感。
  • 解决方案：筛选top-10k最好数据用于训练。人工标注2000个数据，基于CLIP特征的SVM，训练一个scorer，用于评价3D物体的好坏。
• Inference with Gaussian blob initialization
  • 存在问题：生成图像存在复杂背景，影响后续重建质量。
  • 解决方案：2D Gaussian blob，图片中心初始化标准差为0.1的高斯噪声，使得生成图像的背景为白色。
• 使用32卡A100训练3小时

Feed-Forward Sparse-View Large Reconstruction Model

• 与LRM类似，包含Image encoder、Image-to-triplane decoder和triplane-NeRF。
• 在Image Encoder中使用AdaLN嵌入输入图像对应的相机参数。最终得到的2D image tokens合并在一起，在Image-to-triplane decoder的cross-attention中嵌入。
• 使用全部Objaverse dataset

实验

在A100上，推理仅需20s，相较于DreamFusion所需1.5小时，ProlificDreamer所需10小时，速度提高了279倍和1800倍。

消融实验