基于GAN的单目图像3D物体重建（纹理和形状）

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

项目地址：https://nv-tlabs.github.io/DIB-R/

代码地址：https://github.com/nv-tlabs/DIB-R

主要思想

很多机器学习的模型都是在图片上操作，但是忽略了图像其实是3D物体的投影，这个过程叫做渲染。能够使模型理解图片信息可能是生成的关键，但是由于光栅化涉及离散任务操作，渲染过程不是可微的，因此不适用与基于梯度的学习方法。这篇文章提出了DIR-B这个框架，允许图片中的所有像素点的梯度进行分析计算。方法的关键在于把前景光栅化当做局部属性的加权插值，背景光栅化作为基于距离的全局几何的聚合。通过不同的光照模型，这个方法能够对顶点位置、颜色、光照方向等达到很好的优化。此项目有两个主要特点：单图像3D物体预