相关概念:
radiance用来描述物体表面单位面积上的能量分布,和方向有关。
In radiometry, radiance is the radiant flux emitted, reflected, transmitted or received by a surface, per unit solid angle per unit projected area. For example, radiance in direction of the optical axis of a LED is higher than it's radiance at an angle of 15°.
irradiance用来描述物体表面单位面积总的入射能量,和方向无关。比如,用来描述传感器像元的入射光强(来自于不同方向的环境光的累加)。
In radiometry, irradiance is the radiant flux (power) received by a surface per unit area. Irradiance commonly is used referring to power incident on a surface.
Film Response Recovery:
Z: 数字像素值
X: 曝光值
: 曝光时间
E: 辐照度
X 与 Z 之间的关系是非线性变换, 变换函数 是单调递增的.
假设胶片辐照值(irradiance values) 对于每个像素i 是常数.
1、场景是静止的;2、处理速度足够快,可忽略光照变化;3、幅照度E对于每个像素都是一样的。
其中, i表示像素的空间位置, j表示曝光时间 的索引.
在上式中 和 是已知的, 和 函数 是未知的.
定义问题为 求 个 g(Z) 值和 N个 ln 值 的最小化问题. 其中, 是像素值的最大最小值, N是像素位置的数量, P是图片的数量.
第一部分是为了该最小化问题求解出的解满足公式(2)。
第二部分是为了保证g函数是平滑的,在这里g''(z) = g(z-1) - 2g(z) + g(z+1), 加权系数λ,需要根据实际测量量中的噪声来选择。
因为在(3)中的最小化问题中是关于E,g的平方,所以这个最小化问题是较为简单的线性最小二乘问题。求解这个超定方程组,还需要使用SVD分解。
除此之外,还需要三个点来完成上述公式的实现。
1、g和E可以加上一个尺度因子α。论文中对此进行了描述,将E+α代替E,g+α代替g,公式3并不会发生变化。
2、在第二个多项式中添加权重函数w。
所以公式3就变成了:
3、在计算的过程中,并不需要遍历所有像素。论文中做了详细叙述,给定P副图像中的N个像素值,必须要求解N个ln(Ei)的值和(Zmax-Zmin)个g值,为了保证超定方程的求解,需要满足
N*(P-1) > (Zmax - Zmin);
而每个像素值的范围为0-255,所以,假设有P = 11,每个图像只需要有50个像素即可,即N = 50. 公式3所需要满足的方程个数为N × P + Zmax - Zmin,如果遍历所有像素,很显然方程数量太过庞大。论文中提到,可以在方差较小的图像区域进行采样,以便保证光照亮度在选择的区域内是不变的。作者在文中最后交代当时他是用人工来选取区域的,但也说这部分很容易能够实现自动选取。
2.2 Constructing the High Dynamic Range Radiance Map
从公式2中可得公式5:
这里将公式4中的权重系数重新使用,目的是让增加接近响应函数中的中间部分像素的权重。
结合多次曝光,有助于降低恢复E中包含的噪声。
2.3 How many images are necessary?
1. 恢复图像响应曲线。至少2张。
2. 恢复辐照图,给定响应曲线。这里没有确定的数量,是一个动态数,R/F ,R为要恢复的最大辐照亮度范围,F为图像工作范围。
彩色:
可以通过分别重建每个通道的成像系统响应曲线来处理由红色,绿色和蓝色通道组成的彩色图像。不幸的是,将有三个未知的比例因子将相对辐射度与绝对辐射度相关联,每个通道一个。结果,这些缩放因子的不同选择将改变辐射度图的颜色平衡。
默认情况下,该算法选择比例因子,以使值Zmid的像素具有单位曝光。因此,具有RGB值(Zmid; Zmid; Zmid)的任何像素将具有相同的R,G和B辐射值,这意味着该像素是消色差的。如果成像系统的三个通道实际上确实对Zmid附近的消色差光做出了相等的响应,那么我们的过程将正确地重建相对辐射度。