[SLAM] 浙大视觉SLAM公开课笔记——Radiometric Calibration & HDR 辐射标定 & 高动态光照渲染

个人笔记，如有错误，敬请指正

像素值的来源

辐亮度与辐照度

  辐亮度（Radiance）是用来描述光源的，其物理意义是单位投影面积、单位立体角上的辐射通量。辐照度（Irradiance）是用来描述接受光源照射的物体的，例如感光元件，其物理意义是单位面积接收到的辐射通量，例如对于曝光而言，其满足如下公式：

$$Exposure=Irradiance\times \Delta t$$

  众所周知，对于八位的数字图像而言，其像素值的大小范围是0~255，而从物理的辐亮度，到具体的像素值，其转换的过程是非常复杂的。

影像处理器

  感光元件，经由一定辐亮度的光源的照射，产生相应的辐照度，原始的数字信号数据由此产生。

  影像处理器（ISP Image Signal Processor） 是相机的核心元件，其主要负责对上述感光元件产生的原始数字信号进行处理，最终产生由像素值构成的数字图像。

  影像处理器的工作过程是非常复杂的，而且其会随不同的厂商而异，因此，这就导致不同相机的相机响应曲线也是不同的。

相机响应曲线

  相机响应曲线表述的是从辐亮度到像素值的非线性关系。影响这一曲线的因素有很多，例如ISP中设置的感光度ISO的大小，如下图所示：

ISO对于相机响应曲线的影响

辐射标定 Radiometric Calibration

辐射标定的目的

  辐射定标的目标，在于标定相机的非线性的响应曲线，从而可以将像素值，反向转化为具有物理意义的辐射亮度，由此就可以进行非常多的应用。

辐射标定的过程

  数学推导过程从略。

辐射标定的应用（HDR）

  高动态光照渲染（HDR High-Dynamic Range） 是一种图像处理技术，这种技术可以增大数字图像的亮度范围，从而提供更多的细节和更高的画质。

  相机在一次曝光中所能拍摄到的亮度范围是非常狭窄的：曝光过少，那么暗的地方就会因为过暗而丢失细节；曝光过多，那么亮的地方就会因为过曝而无法显示。而对于人眼而言，其所能看到的亮度范围是非常广的，在相同的现实场景中，亮的地方与暗的地方，人眼都能看清其诸多细节。因此，所谓HDR，就是要想办法，用数字图像的八位灰度值，表现出尽可能广的亮度范围。其过程具体可以分为以下三步：

  第一步，拍摄多张不同曝光的数字图像，以得到不同亮度区域的细节。

  第二步，进行辐射标定，从而可以根据上述每张数字图像的像素值，得到其物理上的的辐亮度。

  第三步，将整个场景中的辐亮度，重新映射到八位的灰度值，从而得到一张HDR数字图像。

  值得指出的是，上述的HDR过程，需要假定相机、场景和光照都是静止的。