【课程笔记】谭平计算机视觉（Computer Vision）[5]：反射和光照 - Reflectance & Lighting

课程链接（5-1）：
课程链接（5-2）：

radiance的影响因素（辐射强度）

光源
材质、反射
局部形状

反射

计算机视觉中主要考虑反射
BRDF(Bi-directional reflectance distribution function)
BRDF假设(local assumption)：反射只和此点接收到的光有关，忽略了半透明、荧光等
这个假设导致依靠BRDF模型建立的人皮肤模型不逼真，因为人的皮肤是有一定透明度的，光是可以在里面传播的。

Radiometric Image analysis

从图片恢复光源等信息
（为图形学的逆过程，由光源渲染图像）

BRDF模型

漫反射/镜面反射

在计算机视觉中大多以漫反射为基础，即同一点在不同图片中的强度相同。
镜面反射即为平常所说的高光。

Lambert’s Model朗伯模型/漫反射

BRDF为一个常数
入射光向不同方向反射的数据是相同的
像素的亮度与视线无关，但与光源的方向有关

Phong Model虹模型/镜面反射

现实中物体都存在漫反射和镜面反射，因此渲染时，大多包含这两种反射

Oren-Nayar Model

Cook-Torrance Model

Microfacet Theory

建立物体表面更清晰的物理模型（放大镜下）

获取BRDF参数

特定光源下，获取图片，然后由这些已知参数反推BRDF模型参数
BRDF模型都是可以用特定的数学公式来表示的
MERL BRDF database， 包含了130种材料的BRDF模型

求解表面形状

通过计算反射法向量，再积分求得形状

求解光源

已知BRDF和形状求解光源
然后在用光源渲染物体

研究工作

• Eye for Relighting, 2004
  获取光源的一个例子
  通过人的眼睛（类似球）上的成像来解析环境光
  如上图所示的高分辨率人眼，即可求解出环境光
• Face as Lighting Probes via Unsupervised Deep Highlight Extraction, ECCV, 2018
  用人脸来预估光源
  这里还涉及到了神经网络分解高光问题
• Retrographic sensing for the measurement of surface texture and shape, CVPR, 2009
  用photometric stereo求解几何细节
  可变形的胶，与物体接触而显示出细节-》作为机器人的皮肤
• Microgeometry capture using an elastomeric sensor, SIGGRAPH 2011
• Example-based Photometric Stereo, PAMI, 2005
  没用参数模型，只用了一个example，如果两张图像pixel value很像，则说名光照一样
  将要测量的物体，使用其同材料物体制作成球，找同样pixel value作为参照