Recovering High Dynamic Range Radiance Maps from Photographs笔记

Recovering High Dynamic Range Radiance Maps from Photographs

Paul E. Debevec Jitendra Malik University of California at Berkeley

---

ABSTRACT

在我们的方法中，使用不同的曝光量拍摄场景的多张照片。我们的算法使用这些不同曝光的照片来恢复成像过程的响应函数，直至比例因子，并使用互易假设。利用已知的响应函数，该算法可以将多张照片融合成单个高动态范围辐射图，其像素值与场景中的真实辐射值成比例。

---

Introduction

当我们使用胶片或电子成像阵列拍摄场景并将照片数字化以获得“亮度”值的二维阵列时，这些值很少是场景中相对辐射亮度的真实测量值。例如，如果一个像素的值是另一个像素的两倍，则它不太可能观察到两倍的辐射率。相反，通常有一个未知的非线性映射来确定场景中的辐射如何变成图像中的像素值。

• 这种非线性映射很难事先知道，因为它实际上是摄影过程中发生的几种非线性映射的组合。
• 使用电荷耦合器件 (CCD) 阵列对场景进行成像的数码相机也容易遇到同样的困难

正如任何业余或专业摄影师所知，最明显的困难是动态范围有限——必须选择感兴趣的辐射值范围并适当确定曝光时间。阳光照射的场景以及具有闪亮材质和人造光源的场景通常在亮度值方面存在极大差异，如果不使胶片曝光不足或饱和，就无法捕捉到这些差异。为了覆盖此类场景的完整动态范围，可以拍摄一系列具有不同曝光的照片。这就提出了一个问题：我们如何将这些单独的图像组合成复合辐射图？

本文的目的是提出一种简单的技术，仅使用一组以不同的已知曝光持续时间拍摄的照片即可恢复该响应函数，直至达到比例因子。

---

Applications

Image-based modeling and rendering

迄今为止基于图像的建模和渲染系统假设所有图像都是使用相同的曝光设置和胶片响应函数拍摄的。然而，几乎任何大型环境都会有一些区域比其他区域亮得多，因此无法使用单一曝光设置充分拍摄场景。

通过确定成像设备的响应函数，这里提出的方法允许人们正确地融合在不同曝光设置下拍摄的照片中的像素数据。

基于图像的建模和渲染领域正在致力于恢复场景中表面的更高级的反射模型（直至完整的 BRDF）。这些方法涉及在各种照明条件下观察各个方向的表面辐射率，需要绝对辐射率值，而不是传统图像中的非线性映射像素值。同样重要的是，高动态范围图像的恢复将使这些方法能够从表面镜面反射和入射光源获得准确的辐射值。这种较高的辐射值通常会被限制在传统图像中。

Image processing

大多数图像处理操作（例如模糊、边缘检测、色彩校正和图像对应）都期望像素值与场景辐射亮度成正比。由于非线性图像响应，特别是在饱和点，这些操作可能会对传统图像产生不正确的结果。在计算机图形学中，一种常见的图像处理操作是将合成运动模糊应用于图像。在我们的结果（第 3 节）中，我们将证明使用真实的辐射图可以为高动态范围场景产生更加真实的运动模糊效果。

Image compositing

计算机图形学中的许多应用涉及从不同过程获得的图像合成图像数据。例如，背景遮罩可能使用静态相机拍摄，实景拍摄可能使用不同的胶片或扫描过程，而 CG 元素将通过渲染算法生成。当这些成像过程的响应曲线存在显着差异时，合成图像在视觉上可能不令人信服。本文提出的技术提供了一种方便而可靠的方法来确定任何成像过程的整体响应曲线，允许来自不同过程的图像一致地用作辐射图。此外，可以反转恢复的响应曲线以渲染合成辐射图，就好像它是用任何原始成像过程或完全不同的成像过程拍摄的一样。

Background

我们的目标是开发一种简单的自校准程序，不需要校准图或光度测量设备。

---

The Algorithm

相关概念

radiance用来描述物体表面单位面积上的能量分布，和方向有关。

In radiometry, radiance is the radiant flux emitted, reflected, transmitted or received by a surface, per unit solid angle per unit projected area. For example, radiance in direction of the optical axis of a LED is higher than it’s radiance at an angle of 15°.

irradiance用来描述物体表面单位面积总的入射能量，和方向无关。比如，用来描述传感器像元的入射光强（来自于不同方向的环境光的累加）。

In radiometry, irradiance is the radiant flux (power) received by a surface per unit area. Irradiance commonly is used referring to power incident on a surface.

Film Response Recovery:

Z: 数字像素值

X: 曝光值

Δt: 曝光时间

E: 辐照度

X = E * Δt

X 与 Z 之间的关系是非线性变换, 变换函数f是单调递增的.

假设胶片辐照值(irradiance values) E_i 对于每个像素i 是常数.

1、场景是静止的；2、处理速度足够快，可忽略光照变化；3、幅照度E对于每个像素都是一样的。

Z_ij其中, i表示像素的空间位置, j表示曝光时间 Δt的索引.、

在上式中Z_ij和Δt_j是已知的，E_i和函数g是未知的

定义问题为 求（Z_max-Z_min+1）个g(Z)值和N个lnE_i值的最小化问题，其中Z_maxZ_min是像素值的最大最小值, N是像素位置的数量, P是图片的数量.

第一部分是为了该最小化问题求解出的解满足公式（2）。

第二部分是为了保证g函数是平滑的，在这里g’'(z) = g(z-1) - 2g(z) + g(z+1), 加权系数λ，需要根据实际测量量中的噪声来选择。

因为在（3）中的最小化问题中是关于E,g的平方，所以这个最小化问题是较为简单的线性最小二乘问题。求解这个超定方程组，还需要使用SVD分解。

除此之外，还需要三个点来完成上述公式的实现。

1、g和E可以加上一个尺度因子α。论文中对此进行了描述，将E+α代替E，g+α代替g，公式3并不会发生变化。

2、由于 g (z ) 通常在 Z_min 和 Z_max 附近具有陡峭的斜率，因此我们应该预期 g (z ) 会不太平滑，并且在这些极值附近对数据的拟合效果会更差。为了认识到这一点，我们可以引入一个加权函数 w (z ) 来强调曲线中间的平滑度和拟合项。

所以公式3就变成了：

3、在计算的过程中，并不需要遍历所有像素。论文中做了详细叙述，给定P副图像中的N个像素值，必须要求解N个ln(Ei)的值和(Zmax-Zmin)个g值，为了保证超定方程的求解，需要满足

N*(P-1) > (Zmax - Zmin)；

而每个像素值的范围为0-255，所以，假设有P = 11，每个图像只需要有50个像素即可，即N = 50. 公式3所需要满足的方程个数为N × P + Zmax - Zmin，如果遍历所有像素，很显然方程数量太过庞大。论文中提到，可以在方差较小的图像区域进行采样，以便保证光照亮度在选择的区域内是不变的。作者在文中最后交代当时他是用人工来选取区域的，但也说这部分很容易能够实现自动选取。

Constructing the High Dynamic Range Radiance Map

一旦恢复了响应曲线 g，假设曝光 t_j 已知，它可用于快速将像素值转换为相对辐射值。从公式2中可得公式5:

为了鲁棒性并恢复高动态范围辐射值，我们应该使用特定像素的所有可用曝光来计算其辐射率。这里将公式4中的权重系数重新使用，目的是让增加接近响应函数中的中间部分像素的权重

结合多次曝光，有助于降低恢复E中包含的噪声。

How many images are necessary?

1. 恢复图像响应曲线。至少2张。请注意，照片的曝光量必须足够相似，以便两张图像中的某些像素落入胶片的工作范围内；否则，就没有信息可以将风险敞口相互关联起来。
2. 恢复辐照图，给定响应曲线。这里没有确定的数量，是一个动态数，R/F ，最大到最小辐射值的范围是 R ，胶片能够在其工作范围内表示动态范围 F。

Recovering extended dynamic range from single exposures

印刷胶片记录的动态范围明显大于使用这两种介质所能显示的动态范围。因此，此类扫描仪在单次扫描中仅传送所检测到的打印胶片动态范围的一部分，从而丢弃高密度或低密度区域中的信息。

本文提出的方法支持两种恢复印刷胶片全动态范围的方法

• 在第一种方法中，使用设置为扫描幻灯片的扫描仪来扫描打印负片。大多数扫描仪将在生成的图像中记录胶片的整个可检测动态范围。与之前一样，可以使用同一场景的一系列不同曝光的图像来恢复具有这些扫描仪设置中的每一个的成像系统的响应函数。然后可以使用该响应函数将单独的曝光转换为辐射图。不幸的是，由于生成的图像仍然是每通道 8 位，这会导致量化增加。
• 在第二种方法中，可以使用设置为不同密度调整设置的扫描仪对胶片进行两次扫描。然后，可以使用同一场景的一系列不同曝光的图像来恢复成像系统在这些密度调整设置中的每一个下的响应函数。然后，可以使用与第 2.2 （Constructing the High Dynamic Range Radiance Map）节中类似的技术，使用这两个响应函数来组合任何单个负片的两次扫描。

Color:

可以通过分别重建每个通道的成像系统响应曲线来处理由红色，绿色和蓝色通道组成的彩色图像。不幸的是，将有三个未知的比例因子将相对辐射度与绝对辐射度相关联，每个通道一个。结果，这些缩放因子的不同选择将改变辐射度图的颜色平衡。
默认情况下，该算法选择比例因子，以使值Zmid的像素具有单位曝光。因此，具有RGB值（Zmid； Zmid； Zmid）的任何像素将具有相同的R，G和B辐射值，这意味着该像素是消色差的。如果成像系统的三个通道实际上确实对Zmid附近的消色差光做出了相等的响应，那么我们的过程将正确地重建相对辐射度。

---

Conclusion

曝光。因此，具有RGB值（Zmid； Zmid； Zmid）的任何像素将具有相同的R，G和B辐射值，这意味着该像素是消色差的。如果成像系统的三个通道实际上确实对Zmid附近的消色差光做出了相等的响应，那么我们的过程将正确地重建相对辐射度。

---

Conclusion

我们提出了一种简单、实用、稳健且准确的方法，可以从普通照片中恢复高动态范围辐射图。我们的方法使用传感器互易性的约束，直接从使用不同曝光拍摄的一组图像中导出响应函数和相对辐射值。这项工作在基于图像的建模和渲染、图像处理和图像合成领域有着广泛的应用，我们已经演示了其中的一些应用。我们希望这项工作能够帮助计算机图形学的研究人员和从业者更有效地利用数字化照片。

---

参考：论文阅读笔记------Recovering High Dynamic Range Radiance Maps from Photographs(经典论文)