[CVPR-24] Triplane Meets Gaussian Splatting: Fast and Generalizable Single-View 3D Reconstruction

[pdf | code |proj]

本文提出一种基于单图输入的快速3D重建方法。相较于ICLR-24的LRM、Instant3D，本文引入了3DGS以提高渲染效率。为生成3DGS，本文引入了额外的point decoder，预测单图的3D点云，通过3D点云在tri-plane中query特征，预测对应的3D高斯属性，从而得到最终的重建3DGS。

为增强鲁棒性，本文受CVPR-23的PC2启发，将点云光栅化到图片上，获取每个3D点云的局部图像特征（DINO特征、图像RGB、Mask等）。该特征会用于增强点云上采样、和tri-plane特征concat之后预测3D高斯属性、以及Tri-plane的解码中。