读论文《Hi3D: Pursuing High-Resolution Image-to-3D Generation with Video Diffusion Models》

论文地址：2409.07452v1 (arxiv.org)

项目地址：GitHub - yanghb22-fdu/Hi3D-Official: [MM24] Official codes and datasets for ACM MM24 paper "Hi3D: Pursuing High-Resolution Image-to-3D Generation with Video Diffusion Models".

尽管图像到3D生成领域取得了巨大进展，现有方法在生成具有高分辨率纹理细节的多视角一致图像方面仍然存在挑战，尤其是在缺乏3D感知的2D扩散模型范式中。本文提出了一种名为Hi3D的高分辨率图像到3D生成框架，该框架首先从输入图像生成多视角一致的图像，然后从这些生成的图像重建高保真的3D网格。Hi3D通过利用预训练的视频扩散模型，将单图像到多视角图像的转换重新定义为3D感知的序列图像生成（即轨道视频生成）。这种方法深入挖掘了视频扩散模型中的时间一致性知识，这些知识可以很好地推广到3D生成中的几何一致性。技术上，Hi3D首先赋予预训练的视频扩散模型3D感知先验（相机姿态条件），产生具有低分辨率纹理细节的多视角图像。接着࿰