Deep Photometric Stereo Network

摘要

本文提出了一种基于深度学习的光度立体方法。光度立体的主要困难之一是设计合适的反射模型，该模型既可以表示真实的反射率，又可以在导出表面法线方面在计算上易于处理。与以前的依赖于简化的参数化图像形成模型（例如Lambert模型）的光度学立体方法不同，本文提出的方法旨在通过使用深度神经网络在复杂的反射率观测值与表面法线之间建立灵活的映射。结果，我们提出了一种深光度立体网络（DPSN），该网络在变化的光方向下观察反射率并推断每个像素对应的表面法线。为了使DPSN适用于现实世界的对象，已使用测量的双向反射率分布函数的数据库（MERL BRDF数据库）来训练网络。使用模拟和现实世界场景进行的评估显示了该方法相对于先前技术的有效性。

1.简介

光度立体根据在不同光照条件下观察到的一组图像测量值来估计对象的表面法线。 Woodham [25]和Silver [22]基于朗伯反射率假设[13]在1980年代引入了光度学立体的基本思想。为了使光度学立体图像适用于现实世界的对象，人们感兴趣的是使用更灵活的反射率函数，该函数通常以双向反射率分布函数（BRDF）表示。

尽管具有BRDF表示的图像形成模型具有更大的灵活性和表示能力，但是众所周知，在光度立体背景下，直接使用一般的非参数BRDF很难。为了缓解该问题，已经进行了研究以使用参数表示来近似BRDF。但是，到目前为止，已知的参数模型仅对有限种类的材料才是准确的，并且求解方法存在不稳定的优化问题，这妨碍了获得准确的估计值。因此，需要开发一种光度学立体方法，该方法在计算上易于处理并且能够处理各种BRDF。

为了实现此目标，我们提出了使用深度神经网络（DNN）进行光度学立体声的端到端学习方法。所提出的方法，我们称为深度光度立体网络（DPSN），它使用DNN建立从反射率观测值到表面法线的灵活映射。为了使DPSN适用于各种现实世界的资料，已使用测量的BRDF的数据库（MERL BRDF数据库[14]）来训练网络。此外，我们提出了一个阴影层，该阴影层使用了丢弃策略来解决全局阴影效应。

在我们的方法中，我们假设光线方向是预先定义的，并且在训练和预测阶段之间保持相同，这在许多光度学立体设备中就是这种情况。通过在变化的光照条件下对表面点（对应于某个像素）进行反射观察，DPSN以每个像素的方式运行，并推断该点的表面法线。结果显示了我们的方法的有效性，该方法已通过仿真和真实世界图像验证。

2.相关工作

常规的光度立体[25，22]基于朗伯的反射率模型。由于Lambert模型是理想的反射率模型，可能无法很好地反映真实的反射率，因此，将光度学立体声扩展到可用于非Lambertian表面的方法已引起了人们的实际兴趣。现有关于非朗伯光度学立体的研究可分为三类。

第一类是基于稳健估计的方法，其中非朗伯反射率被视为离群值。他们假设大多数反射率观测值都遵循或接近朗伯模型，因此非朗伯反射率（例如镜面反射）可以视为异常。 Wu等。 [26]将鲁棒估计问题表述为秩最小化。他们利用了朗伯观测值形成低秩子空间的事实[2]，并将非朗伯反射率视为稀疏离群值。 Mukaigawa等。 [16]使用随机样本共识（RANSAC）方案来丢弃离群值，该值实质上近似于零残差最小化。其他鲁棒的估计方法，例如期望最大化[27]，采用中位数[15]，1残差最小化和稀疏贝叶斯学习[10]，也显示了对稀疏离群值的有效处理。由于鲁棒的估计方法是建立在统计异常值剔除的基础上的，因此它们通常需要大量输入图像，例如[26]中的40个图像，这些图像是在不同的光方向上记录的。

第二类是基于比Lambertian模型更复杂的反射模型的方法，以便更好地近似非Lambertian反射观察结果。Georghiades[4]使用Torrance-Sparrow模型[24]，Ruiters等人。 [18]在光度立体中使用Cook Torrance模型[3]。最近，Shi等人。 [20]提出了一个双多项式BRDF模型，该模型能够表示低频非朗伯反射率，并且在表面法线估计中显示出更高的准确性。 Holroyd等。 [8]提出了另一种方法，该方法基于跨正切线和法向双法线平面的中途矢量的反射对称性来概括反射率属性，该方法不需要估计表面反射率模型，并且在各向异性反射率表面上表现良好。

第三类是基于示例的方法，该方法确定参考对象的表面法线。 Hertzmann和Seitz [6]提出了一种使用与参考物体具有相同反射率的参考球的基于示例的方法。根据目标对象和参考对象之间一致的观察结果，他们的方法通过简单地映射参考对象中的对应对象来确定目标对象的表面法线。基于示例的方法自然可以避免解决复杂的优化问题，但是它需要一个参考对象，该对象的形状已知并且反射率与目标对象相同。

我们的方法介于第二和第三类之间。与第二类方法一样，我们的方法能够处理各种BRDF。我们的方法不是使用先前的方法来估计BRDF参数和表面法线，而是使用深度学习框架直接建立从反射率观测值到表面法线的映射。我们的DPSN是使用各种材料的BRDF实测数据库（MERL BRDF数据库[14]）进行培训的；因此，它具有第三类中基于示例的方法的精神，而