Nvidia发布基于插值光栅化的微分渲染器(DIB-R)生成3D对象模型

Nvidia研究人员将于本月在温哥华举行的年度神经信息处理系统会议（NeurIPS）上介绍他们的模型。

他们提出了一个完整的基于光栅化的微分渲染器，可以通过分析来计算梯度。当包裹在神经网络周围时，他们的框架学会了从单个图像预测形状，纹理和光线，并且展示了他们的框架“以学习3D纹理形状的生成器。

应用非常的广泛，比如从摄像机的实时视频流中提取的静止图像可以立即转换为3-D模型，从而使自动驾驶汽车能够准确地确定需要避免的大型卡车的尺寸，DIB-R甚至可以提高负责识别人员并跟踪人员的安全摄像机的性能，因为即时生成的3D模型将使人员在视野范围内移动时更容易进行图像匹配。

团队在四张2D鸟类图像（最左侧）上测试了DIB-R。

相关工作

• 可微分栅格化：

OpenDR是基于可微分栅格化的渲染器系列，它使用一阶泰勒逼近近似于像素位置的梯度，并使用自动微分通过用户指定的前向渲染程序进行反向传播。在这种方法中，梯度仅在网格面的边缘周围的一小段中为非零，这势必会影响性能。

手工设计一个近似的梯度定义，以实现人脸在图像像素之间的移动。近似渐变的使用以及缺乏全彩信息会导致嘈杂的3D预测，而不会产生凹面特征。为了分析计算梯度，Paparazzi建议将图像梯度反向传播到面部法线，然后通过链法则将其传递到顶点位置。但是，它们的梯度计算仅限于特定的照明模型，并且使用脸部法线进一步阻止了将它们的方法应用于平滑阴影。设计C∞光滑可微分渲染器，以估计3D几何，同时忽略光照和纹理。支持每个顶点的颜色，并在边界附近模糊化渐变，从而产生有线效果，但无法覆盖整个图像。着重于点云的渲染，并采用可微分的重投影损失来限制预定点云的分布，从而失去了点连通性并且无法处理纹理和光照。

最近提出的SoftRas-Mesh引入了一种光栅化的概率公式，其中每个像素都被软分配给网格的所有面。在引发更高的计算成本的同时，这种巧妙的技巧还可以分析梯度。与我们的工作平行，SoftRas-Color扩展了此框架，以合并顶点颜色并在理论上支持纹理和照明。但每个像素中的所有面孔都会受到影响，因此可能会有模糊的问题。与我们的并行工作之间的主要区别在于，类似于我们将每个前景像素指定到最前面，并通过将栅格化视为局部网格属性的插值来计算前景像素的解析梯度。这使我们的渲染效果与OpenGL管道相同&