【论文阅读】GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images

文献出处

1 背景

创建3D虚拟世界与内容创建工具的需求变得强烈。
过去的许多工作缺乏3D几何细节、受限于可以生成的网络拓扑、不支持纹理、在合成过程中使用神经渲染器，因此在3D软件中的使用变得不平凡。

2 研究问题

训练合成纹理网格的3D生成模型，可以被3D渲染引擎消耗，用于下游应用。
完成上述所有需求。

3 研究思路

将可微显式表面提取建模方法、可微渲染技术，2D生成对抗网络结合起来，从2D图像集合来训练模型。

1. 可微显式表面提取建模方法：直接优化和输出具有任意拓扑的纹理3D网格。
2. 可微渲染技术：用2D图像渲染模型，从而利用为2D图像合成开发的强大而成熟的鉴别器。

综上两条，就可以轻松扩展模型以训练高达1024×1024的图像分辨率，从而学习高质量的几何和纹理细节。

4 研究方法

生成过程分为两个部分：

1. 几何分支：可微分地输出任意拓扑的表面网格，
2. 纹理分支：生成一个纹理field，可以在表面点处查询该纹理字段以生成颜色。可以扩展到其他表面特性比如材料。

训练过程：
使用高效的可微光栅化器将生成的纹理网格渲染为2D高分辨率图像。

整个过程：
可微的，通过从2D鉴别器传播到两个生成器分支，来允许从图像进行对抗性训练（图像使用感兴趣对象的掩码）。

5 研究结果

GET3D：

1. 3D形状的生成模型。
2. 直接生成具有复杂拓扑、丰富几何细节和高保真纹理的显示纹理3D网格。
3. 生成高质量的3D纹理网格，范围从汽车、椅子、动物、摩托车、人类角色到建筑物。
4. 用显示网格作为输出表示。
5. 适应其他任务：
   5.1. 学习使用高级可微渲染生成分解的材质和依赖于视图的照明效果，无需监督。
   5.2. 使用CLIP嵌入的文本引导的3D形状生成

6 本研究的启发

6.1 本研究的创新之处

6.2 研究方法的创新之处

6.3 研究的不足