浙江大学谭平计算机视觉SLAM课程上课笔记：04反射和光照（对应B站P5,P6）

声明：本笔记仅为当堂记录的笔记，有些东西不对或者是没有逻辑，仅仅是按照PPT的顺序罗列为方便复习。

radience是发光的 意思，一个像素值被一下几个方面决定：光源（方向和光强）：点光源，方向光源物体的材料反射属性局部的形状（主要是局部的朝向）各种各样光学的现象（反射、折射、散射和吸收），所以这样才能看到。计算机视觉中仅仅考虑反射现象。但是反射现象本身就是一个比较深的理论。在反射中，一个比较重要的定量方法为BRDF（双向反射分布函数），这个是什么呢：两个方向的函数，入射光的方向和出射光的方向。一定能量的光。为了方便，我们一般都是取一个局部坐标系来进行研究。BRDF描述了一个反射光的分布，是一个方向的概率分布函数。这个分布随着入射光改变而改变。可以理解成一个分布函数。固定入射光线，函数变成球面上的函数。针对一个入射方向射入，反射光线的分布。假定反射是一个局部的现象，从这个点反射的光只和这个点接受到的光有关。BRDF忽略了非局部的行为，在本门课程中，我们进一步忽略了非局部的印象。（但是人体皮肤不是这样的，是有半透明性。验证：黑夜是用手捂住手电筒，另一边能够看到光。）有一个点光源，这个点反光的强度。得到出射光的能量分布gradicen由这个公式得出。多个光源的话：因为光是线性的，所以是直接进行叠加。如果光源不是一个点光源的话的话 ，进行积分。计算机视觉和计算机图形学是互为逆过程。渲染方程：由物体的形状和反射确定pixel。辐射图像分析（Radiometric Image Analysis）则是逆过程。在做逆过程的时候我们也是会做一些假设：·点光源·一个点对另一个点没有影响·假定一些比较简单的BRDF模型下面讲比较简单的BRDF的模型：漫反射：入射光打进来，比较均匀的反射到四面八方。（磨砂表面）绝大多数的都是假定这个模型，因为同一个像素点不同的照片中pixel value一样，更符合人们的要求高光（镜面反射）：带有反射shiny的物体。违反同一个点在不同的视角是一样的。（光滑表面）把漫反射和高光的部分分离出来。漫反射一般是物体本身的颜色，高光的话一般是光源。这里是用了偏振分离漫反射和高光。琅勃模型：BRDF是一个常数，就是一个漫反射，非常均匀的向四周反射。cos写成内积特点:亮度不取决于视角，亮度取决于照明,这个模型在CV中用的很普遍。光从灰色的箭头打进来绿色的箭头是surface normal冯模型：适用于高光。针对高光也需要一个数学模型。冯模型，绝大多数能量要集中在镜面反射方向。如果离开了镜面反射方向，pixel指数级下降。特征：亮度取决于方向。是一个经验模型，物理不正确，违反了能量守恒定律。两种反射按照一定的比例进行叠加。纵轴是kf，越大，高光占比约的大。横轴是不同的n的大小，n越小的话能量的衰减的会很小，n越大能量衰减的越大。这是讲两者结合的例子。现在还有一些更加复杂的模型，这里就不过多介绍了。要想搞清楚物体是怎么反光的，不如先建立物理模型。
假设：
·表面由微观层面的微相组成。
·表面很小（看不见）并且有足够大（没有干涉和衍射）
这些方面的聚合行为决定了反射。
两个很重要的因素：1.每一个小镜面是怎么反光的，2.还需要看整体，统计量：朝向。假设成高斯分布

microfacet的理论应用

BRDF的捕捉：
理论上：由已知物体的形状和光照确定。
实际上：用平的样品和移动的光源和相机
怎么解决interreflection：全部弄成黑布，需要一个黑房间。

更有效的方法：做成一个球。平板的只是一个方向，但是如果用球的话就可以避免这个问题。所以一个单张的图片能够包含许多BRDF 样本。但是仍然需要移动光源和相机。

如何描述已经获得的BRDF？：制作BRDF表格
用一个4维数据描述：但是无法编辑，无法修改。费内存
或者是fit模型：该模型可以减小噪声但是缺被模型给局限。

用于拟合的非明显误差度量通常偏向于具有较大值的镜面反射。
难以优化：非线性，取决于初始猜想。

好处：可以减少噪声。
但是model fitting并不简单

但是有人把这个工作做了。找了130中不同的材料，然后进行capture下来，成了一个数据集。


光度立体(捕捉形状)：物体固定不动，光在动。

经典的假设：
· 朗伯反射模型。
· 在相机的坐标系中做分析，用一个高度场描述物体的形状。
· 正交照相机
· 定向照明
· 假定是漫反射、平行光

朗博反射的物体，打开一盏灯拍一张照片。移动一下灯，再拍一张照片，再变一下，又拍一张照片。

· 就是上面的线性方程并没有考虑shadows。
· 附加阴影”中的像素强度为零。
· 为了考虑shadows。这里和0做max，但是这时是非线性的
· 一个简单的解决这个问题的方法是：每一个像素都有许多的观察值，就多拍一些照片。去掉最低pixel value的底部的20%。
高光的问题也可以通过类似的方法解决


这是从normal恢复shape的数学表达。

我们可以通过同样的方法恢复表面的形状。比如积分
· 这里直接积分的话并不能得到最终的结果，因为这里有很多的噪声。
· PPT中第二个公式是想说明并不是任意一个梯度场都能够积分得到结果的，否则的话，必须满足这个两个偏导相等，否则得到的结果会类似于图中的无尽阶梯，一直在原地打转。

· 切向量垂直于n。
· 对于v2同理得到一个相似的方程。
· 每个normal给出两个线性的限制。
· 通过借一个矩阵的方程来得到Z的值。

第三个部分是求解光源：已知的形状和已知的BRDF可以用来求解光源。这里是用一个亮亮的金属球。

如何捕获一个单一方向的光？
· 例如，要在光度立体中获取矩阵L
· 捕捉场景中的闪亮球体
高亮显示的位置指示照明方向
L这里是哪里来的。就是做calibration来的
在这里放一个金属球，方向光会在上面产生一个highlight spot，就告诉我们光的方向。

因为没有interaction，所以这里的话球是一个全黑的情况，除了光源所在那个点。当你看到这个点是意味着：视线方向和视线反射方向是重合的，又有反射定律。
又假定是平行投影的相机，在局部坐标系中v=（001），所以r=（001），这是一个球。surface normal根据初中几何的知识就可以推到出来。这样就能够得到光源的信息。

如何捕捉环境光，我们可以理解为，一个球面函数是在某一个特定的三维点，包围在三维点的一个球面上，各种方向对这个点这是亮度的球面函数。
如果想捕捉那一个点，点的中心处放上一个金属球，然后用光去拍。顺着视线方向打过去光，顺着反射方向打出去。
下面是一些例子。

镜像球->等矩形

应用：场景中加物体，放上一个金属球得到光，然后放上去物体渲染。

AR技术。

HDR环境光：HDR是必要的，使光探头捕捉到全范围的辐射。
为什么需要HDR，pixel value的intensity的变化是0-255，但是有点地方会比另一个地方量10000倍，所以pixel value是完成不了这个变化动态范围的所以用HDR。

用眼球捕捉光源，得到环境光，可以换脸

可以根据眼球的反射，看出人眼在看什么点

老师去年的工作来估算环境光的，一般用金属球。

已知的形状和反射模型，没有金属球可以用人脸.

为什么人脸可以呢？因为可以形状像，而且人脸一定时有highlight的，不再是入射角和反射角的。

设计神经网络分离highlight

还是相对比较一致的。

不用朗伯模型了，不用参数化的模型来描述。而是选择一个参照。


想还原瓶子，用一个球作为参考，球的每一个surface normal都是已知的。
有点是可以处理非常复杂的形状。要有一个同一种材料。

拓展：材料比较复杂。两种材料的线性叠加：比如漫反射接近于朗播，，镜面反射接近于。。，用一个组合系数求解surface normal。