Real-Time Photometric Registration from Arbitrary Geometry阅读笔记【翻译向】

#Real-Time Photometric Registration from Arbitrary Geometry
##个人总结

1. 作者用CIE LAB颜色空间的亮度值作为最终渲染结果的光照部分，通过最小二乘解超定的线性方程组来得到近似的光源SH系数。
2. 鲁棒那部分剔除了遮蔽严重的点（没什么入射光），还搞了采样点的归一化。
3. 光照估计所得的光照解$\tilde{F}$在所有点上都可以用，所以一帧内计算一次光照解，只是辐射传输$R{T}_{DS}$中的可见性部分$V(w_j)$每一点都不一样，所以一帧内每个像素都要算一次辐射传输，文中只是每n个点计算一次，没计算的点用插值求其辐射传输。而且文中用了差分渲染，辐射传输就因此算了纯真实世界和混合世界两次辐射传输，比较耗时。
4. 申明光源为远光，所以镜头里面的光源是没办法测的。
5. 这篇文章并没有实现全局光照，用的是漫反射阴影模型，倒是能实现真实场景和虚拟物体之间的阴影交互。
6. 槽点，公式表示有点非主流甚至有问题，球谐函数感觉还是看Robin Green那篇（下面有传送门）比较舒服，网上也有他的翻译博客。

图1.左侧没有任何光照，右侧是漫反射阴影模型渲染的效果图。虚拟物体有自阴影，并且真实场景和虚拟物体之间有阴影交互

##摘要
本文提出一套新颖的非侵入式的系统，用任意的场景几何体作为光照估计（Registration）的光探针，还提出了一个支持实时全局光照技术的通用AR渲染管线。基于当时最好的实时几何重构，论文展示了如何鲁棒地区出光照估计所需的数据，去模拟出真实世界的漫反射光照。论文基于球谐函数，通过观察被重构模型（reconstructed model）来估计光。

##1.问题描述
要将虚拟物体渲染到AR中，需要解决两个问题：光照估计和模拟逼真的光照。前者关注测量环境，通过重构估计几何结构就可以达到正确的遮蔽效果。

论文解决了实时光照环境的估计问题。对于AR这种实时应用，要在相机一帧的时间内解决一个光照逆向计算问题。

真实世界的光照条件是第二个问题的必须输入。

##2.文章贡献
不需要侵入式的光探针就可以恢复环境的光照条件。它们用在AR渲染管线里的解决方案是基于球谐函数（SH，spherical harmonic）和体数据光线投射技术的。论文还提出一种方法，用来提高光照估计的鲁棒性和系统地评估合成的/真实世界的数据。

论文利用方向光和场景物体表面的辐射传输的SH表示，达到了准确的光照效果。物体遮挡的处理使用了KinectFusion[13]提出的实时密度重构算法。差分渲染[2]被用来建模真实世界和虚拟物体之间的相互影响。

输入：RGB图像和深度图。限制光照的颜色为白色，物体表面被假设是具有任意表面颜色和纹理的朗博体。

论文的方法能达到交互级别的帧率【其实就5Hz】，也不需要提供任何运行时的人工输入。

##3.光照估计
本文主要研究范围是远光场$F$，它代表半球上所有的入射光线。远光场的假设意味着我们可以分开处理光源和场景。
###3.1用SH进行光照估计
入射光、观察者和场景几何结构的基本关系见以下反射方程（公式1）。
$$B(x,{\vec{w}}_0)={\int }_{{\Omega }_j}T(x)\rho ({\vec{w}}_j,{\vec{w}}_0)L(x,{\vec{w}}_j)({\vec{w}}_j\cdot \vec{n})d{\vec{w}}_j\text{\hspace{1em}(1)}$$

表面点记为$x$，出射方向【个人理解是$x$到观察者的方向】记为$w_0$，表面法线记为$\vec{n}$。整个公式由三项组成，$T(x)$表面纹理，$\rho ({\vec{w}}_j,{\vec{w}}_0)$表面的双线性反射分布函数（BRDF），$L(x,{\vec{w}}_j)$x点上关于${\vec{w}}_j$的入射光。

这里的$T$没有考虑镜面材质，也没有解决光源颜色和纹理颜色的歧义，这里假设光的颜色为白色，颜色仅仅来源于纹理本身。光源是动态变化的，并且假设为是远光，这意味着整个表面受光均匀。

引入LearnOpenGL-CN上的反射公式做BRDF项的对照

传送门：https://learnopengl-cn.github.io/07 PBR/01 Theory/
公式1*是对一个以点$p$为球心法线方向上的半球领域$\Omega$内所有方向上的入射光进行积分。$f_r$是BRDF项。
$$L_o(p,{\vec{w}}_o)={\int }_{\Omega }{f}_r(p,{\vec{w}}_j,{\vec{w}}_o)L_i(p,{\vec{w}}_i)(\vec{n}\cdot {\vec{w}}_i)d{\vec{w}}_i\text{\hspace{1em}(1*)}$$
和Lambertian BRDF模型公式（可以看做是$f_r$的特化版本），只涉及漫反射。$c$表示表面颜色。
$$f_{lambert}=\frac{c}{\pi }$$
对照小结：公式1的$T$对应了$f_{lambert}$中的$c$，而$\rho$对应了$\frac{1}{\pi }$，因此$T\cdot \rho$才相当于完整的BRDF。
ps: 公式1中的${\Omega }_j$