本文提出一种基于单图输入的快速3D重建方法。相较于ICLR-24的LRM、Instant3D,本文引入了3DGS以提高渲染效率。为生成3DGS,本文引入了额外的point decoder,预测单图的3D点云,通过3D点云在tri-plane中query特征,预测对应的3D高斯属性,从而得到最终的重建3DGS。
为增强鲁棒性,本文受CVPR-23的PC2启发,将点云光栅化到图片上,获取每个3D点云的局部图像特征(DINO特征、图像RGB、Mask等)。该特征会用于增强点云上采样、和tri-plane特征concat之后预测3D高斯属性、以及Tri-plane的解码中。