A Variational Approach to Shape-from-shading Under Natural Illumination论文阅读

摘要

提出一种基于PDE(偏微分)的变分SFS算法，解决自然光照下的阴影中恢复形状问题。该方法基于增强的拉格朗日模型，可以应对定向或球面谐波照明，正投影或者透视投影，灰度图或者多通道图片；以及阴影感知深度图去噪，优化，和补全(简直万能啊有木有）。

引言

首先介绍了一些三维重建的一些基本方法：
其中有用于稀疏三维重建的SFM，然后利用多视图立体（MVS)进行稠密化（当然这不是本文要研究的）,这两种技术都需要基于局部颜色变化的明确对应；并且假设表面为郎伯体以及有较充分的纹理。对于缺乏纹理的稠密重建上述方法显然不太实用,这时就可以应用SFS算法。
然而，大多数sfs算法对光照有严格要求，所以这种方法对于自然光可能不太友好。sfs算法目前是不适定的，需要引入额外的约束，例如表面的先验知识等。
存在两种数值的sfs方法（我承认，以后不看数值的了，数学差的我根本看不懂啊）
其一：变分法，可以通过正则化保证平滑表面，但是调正则化项比较麻烦
其二：非线性偏微分方程法，不需要调节什么正则化项，但是缺乏鲁棒性，并且需要边界条件
所以，我们把这两种方法结合起来，提出一种基于PDE的变分方法。

下面第三部分提出一种新的基于PDE的SFS模型，可以解决许多光照和相机模型
第四部分在此基础上提出一种变分的方法求解提出的PDE模型，其中包括可选的正则化项，该项是为了引入形状先验信息或是加强平滑度；使用ADMM算法求解数值解。

成像模型以及相关工作

引入相机三维坐标$Oxyz$，$O$是光心，$Oz$坐标和光轴重合，即z朝向场景。
We denote $I$: Ω ⊂ R2 → RC, (x,y) $\mapsto I(x,y)$ = $[I^1(x,y),...,I^C(x,y)]$ ,greylevel (C = 1) or multi-channel (C > 1) image of a surface, where Ω represents a “mask” of the object being pictured
我们假设表面是Lambertian，所以反射可以完全由albedo $\rho$表征；对于光照向量$l$我们进一步考虑了第二阶的球谐函数;为了解决反射图和光照的 spectral dependencies

你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。我们假设一个广义模型，其中$\rho 和l$都是channel相关的。The albedo is thus a function ρ : Ω → $R^C$, (x,y) $\mapsto$ρ(x,y) = $[{\rho }^1(x,y),...,{\rho }^C(x,y){]}^T$, and the lighting in each channel c ∈ {1,…,C} is represented as a vector $lc=[l_1^c,l_2^c,l_3^c,l_4^c,l_5^c,l_6^c,l_7^c,l_8^c,l_9^c]$∈ $R^9$. Eventually, let n : Ω →$S^2$ ⊂$R^3$, (x,y) $\mapsto$ n(x,y) = [n1(x,y),n2(x,y),n3(x,y)${]}^T$ be the field of unit-length outward normals to the surface.
成像模型可以表示为：
之前的许多方法都依赖于多尺度或者正则化机制。尽管正则化机制在实践中有一定程度上规避了这种数值不稳定性，但理想的数值解算器只依赖正则化来消除歧义和处理噪声，而不用于增强数值稳定性

一个基于广义PDE模型的sfs方法

我们假设光照和albedo是已知的（in our experiments, the albedo is assumed uniformly white and colored lighting is estimated from a gross surface approximation），而（1）式用法向表示是非线性的。
由于（1）式需要求整个区域的全局解。为此，我们不估计法线，而是通过基于偏微分方程的方法估计底层深度图，该方法隐式地保证了表面的平滑而不需要任何正则化项
命题1：
对于正交或透视投影，成像模型（1）都可以重写为以下z的非线性PDE形式：

变分优化方法

如果我们假设图像形成模型（1）满足加性、零均值和同质高斯噪声，则通过估计深度映射z获得最大似然解，该深度映射使以下最小二乘代价函数最小化：

4.1简单回顾以下Horn和Brooks的方法

Horn和Brook的方法用来求解eikonal SFS模型，该模型是（2）式的特例。他们提出一种两阶段恢复形状的方法，也就是首先估计梯度，然后第二阶段将其加入到深度图中。也就是说，上式（9）首先用度$\theta :=\nabla z$,然后将$\theta$加入到深度图z中。
由于局部梯度估计是有歧义的，在第一阶段中所以加入了可积性约束。$\theta 是z的函数$，要求其是不可旋转的（旋度为0）。引入散度算子∇·。后一个条件是：

在实际应用中，他们将硬约束（10）转化为正则化项，并且引入两个超参数$(\lambda ,\mu )>(0,0)$:

在解决了（11）之后，通过求解∇z =$\hat{\theta }$,将$\hat{\theta }$加入到深度图z中。然而，由于没有严格要求可积性，只是作为一个正则化项，无法保证$\hat{\theta }$是可积的；因此Horn和Brooks又引入可积性约束

上述两步方法求解（11）和（12），还是容易产生传播误差，梯度估计中的任何错误都可能导致可积性阶段出大错
我们的方法不分阶段了，直接同时估计深度图和它的梯度，使用以下式子
使用增强的拉格朗日方法可以求解上式，这个方法不需要调节超参数$\mu$以及偏差传播。
下面引入两种正则化项：基于表面先验的正则化项，确保表面平滑的正则化项。

4.2 正则化变分模型

对于存在初始化$z^0$的情况，可以加入先验正则化：

平滑正则化：

将第（9）式以及正则化项加在一起，表示为：

4.3数值解

为了求解数值解，引入ADMM算法，并对（16）式进行改写为：