SFS人脸细节增强

Real-time Shading-based Refinement for Consumer Depth Cameras

1.实现方式

Gauss-Newton solver implanted on GPU。

2.效率

可达每秒30帧

3.实现流程

  1）前提

a.物体表面Lambertian假设。

b.入射光为球谐波。

入射辐照度是关于物体表面法向的函数。

2）光照估计

首先假设RGB图像每个通道的灰度亮度均相等。

采用二阶球面谐波函数计算反射率：

B(i, j)是反射光强，k(i, j)是反射率，lk二阶球面谐波的第k个系数（共9个）。

由于需要进行实时计算，因此文中假设光强只与法向相关，不考虑局部可见性。

Hk(n(i, j))：

由于是对RGB-D图片进行增强，因此我们已经预先知道了每个3D点的xyz坐标，也就知道了其对应的法向量。同时，先忽略反射率系数，那么现在需要求的就只有光照系数lk，光照系数的求解只要最小化以下函数

最小化后，即I=B。Nx、Ny是图像大小，I是图像亮度。计算以上最优问题可以等效为计算以下线性方程