GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis 论文笔记

NeurIPS 2020 / Code / Project Page

GRAF：从 unposed 的 2D 图片产生 3D-aware 的生成模型

这需要在原来2D GAN的基础上增加两个模块：

• 生成物体的3D表示方法，由3D generator描述
• 一个虚拟相机和相应的渲染器，产生该物体的2D图像

GRAF使用的3D generator，关键之处在于把物体用NeRF表示，而非之前基于 voxel 的方法（voxel会造成内存立方式增长，如HoloGAN，PlatonicGAN），后面就用虚拟相机结合 volume rendering 渲染。

方法比较

GRAF 用 NeRF场表示场景，并且对渲染出来的几张图片使用COLMAP验证其3D一致性（3D-consistency）。

 

 

方法

pipeline

 

 

网络结构