ICCV2019光度立体论文SPLINE-Net: Sparse Photometric Stereo through Lighting and Normal Networks.阅读笔记.

前言

由于目前研究方向是光度立体方向，并且最近要和双目，深度学习结合一下，就找了最新的论文来看，这篇是iccv2019北大施柏鑫团队的最新论文，和之前一样，重点依然放在用深度学习解决非郎勃模型的光度立体问题上，下面结合自己的想法对这篇论文做个总结。

首先写几个相关知识点：
漫反射又称朗勃(Lambert)反射，也称各向同性反射。这是经典光度立体用到的模型。而事实上现实世界很难有理想的漫反射模型，大多都是非郎勃模型。
BRDF可以表现镜面反射（镜面），漫反射（朗勃表面），以及介于二者之间的方向反射（非朗勃表面）。有两种类型的BRDF，isotropic（各向同性）和anisotropic（各向异性）。
关于各向同性，查询资料以后理解如下：若某点处的辐射率不随方向而变，则称该点的辐射为各向同性辐射，若某辐射面所有点处的辐射都是各向同性的，则称该辐射面为各向同性辐射面。各向异性相反，而且相应就是非Lambert表面了

左边是isotropic，右边是anisotropic。本文是用的是各向同性的BRDF光照模型。

摘要

本文利用生成网络（SPLINE-Net）通过光照插值和法线估计来解决稀疏光度立体问题。 SPLINE-Net包含一个照明插值网络，该照明插值网络以稀疏的一组灯光作为输入来生成密集的照明观察图，然后是一个法线估计网络以估计表面法线。这两个网络都受到所提出的对称和非对称损失函数的共同约束，以实施各向同性约束并执行全局照明效果的异常排除。通过仅使用十个不同光源的图像而不是使用近百个图像，已验证SPLINE-Net优于常规BRDF的光度学立体测量方法。

本文想要解决的问题

经典的光度立体假设理想的Lambertian图像形成模型没有全局照明效果（例如，相互反射和阴影），而这种假设偏离了现实情况，并阻碍了光度学立体像能够处理现实世界的对象。

为了使光度学立体实用，主要困难在于处理具有一般反射率和全局照明效果的对象。可以通过探索双向反射分布函数（BRDF）表示形式和一般的BRDF属性来建模照明和表面法线的非朗伯内在联系，或通过抑制全局效应比如将它们视为异常值来实现这些目的。

目前其他论文的研究的结果显示:对于随机约有100个定向光才能达到对具有常规材料的对象的合理良好的法线估计，因为需要在密集的灯光下进行多照明观察，以适合解析BRDF模型中的参数，分析常规BRDF属性，观察足够的内点和离群值并确保训练神经网络的收敛性。即目前还没有方法能解决如何通过少量图片来进行法线估计的问题。

因此本文想要解决的就是给定具有稀疏光集（例如10个）的常规BRDF光照模型的情况下，如何高精度估计物体的法向。本文将其称为稀疏光度立体。

解决办法

本文提出了照明插值和法线估计网络（即SPLINE-Net）来解决稀疏光度立体问题。 SPLINE-Net由两个子网络组成：
首先是照明插值网络（LI-Net）&#x