3D【17】深度信息增强：Real-time Shading-based Refinement for Consumer Depth Cameras

该论文的目的是增强RGBD中的深度信息。利用的是shading-based方法，大体过程是通过光照模型渲染出深度图的亮度图，然后与真实RGB图片的亮度进行各种比较（梯度啊，亮度差啊之类的）。因为光照渲染是与3d点的法向量有关，而法向量又与RGBD图片中的深度信息有关，上面说的各种比较就能够将误差传播到3D点的法向量，最后传播到深度信息。这样就完成了深度信息的增强。
论文的效果很吊，可惜没有开源。这里只能记录一下理论相关的东西。
那么，既然是shading-based我们就需要先进行光照估计。

光照估计

论文使用的是2阶球面谐波光照模型：

其中，i、j是像素坐标，$k(i,j)$ 是反射率。$l_k$ 是2阶球面谐波的第k个系数（总共9个），$H_k(n),n=(n_x,n_y,n_z)$ 是2阶球面谐波方程，n是3D点的法向量。
2阶球面谐波的9个方程计算公式如下：

由于是对RGBD图片进行增强，因此我们已经预先知道了每个3D点的xyz坐标，也就知道了其对应的法向量。同时，先忽略反射率系数，那么现在需要求的就只有光照系数 lk<