论文阅读------Exposure Fusion: A Simple and Practical Alternative to High Dynamic Range Photography

Mertens T, Kautz J, Van Reeth F. Exposure fusion: A simple and practical alternative to high dynamic range photography[C]//Computer graphics forum. Oxford, UK: Blackwell Publishing Ltd, 2009, 28(1): 161-171.

摘要

本文提出了一种将包围曝光的序列融合到高质量图像中的技术，而无需先转换为高动态范围（HDR）。跳过基于物理的HDR组装步骤可简化采集管道。这避免了相机响应曲线校准，并且计算效率高。它还允许在序列中包括flash图像。我们的技术在饱和度和对比度等简单质量指标的指导下融合了多种曝光。以多分辨率方式完成此操作以解决这些频率中的亮度变化。由此产生的图像质量可与现有的色调映射运算符相媲美。

在本文中，我们建议跳过计算HDR的步骤，直接将多次曝光融合为高质量，低动态范围的图像，以备显示（例如，映射有色调的图片）。方法背后的想法是，为多重曝光序列中的每个像素计算一个感知质量度量，该度量编码所需的质量，例如饱和度和对比度。根据我们的质量衡量标准，我们从序列中选择“好”像素，然后将它们组合成最终结果。

多分辨率合成的有效性：

Quality Measures

由于曝光不足和曝光过度，堆栈中的许多图像都包含平坦，无色的区域。这样的区域应该没有权重，而应保留包含鲜艳色彩和细节的有趣区域。
通过以下指标实现这一目标：

• Contrast:
  对每个图像的灰度版本应用拉普拉斯滤波器，并获得滤波器响应的绝对值。这样就产生了一个简单的对比指标$C$。它倾向于为重要元素（例如边缘和纹理）分配较高的权重。类似的措施用于扩展景深的多焦点融合。
• Saturation:
  随着照片的曝光时间延长，所得到的色彩变得不饱和，并最终被剪裁。饱和色是理想的，并且可以使图像看起来生动。在每个像素处都包含一个饱和度$S$，该饱和度$S$为R，G和B通道内的标准偏差。
• Well-exposedness:
  仅查看通道内的原始强度，就可以揭示像素的曝光程度。我们希望保持强度不接近0（曝光不足）或1（曝光过度）。我们使用高斯曲线：$exp(-\frac{(i-0.5{)}^2}{2\sigma })$, 其中$\sigma =0.2$, 根据强度与0.5的接近程度对每个强度进行加权。要考虑多个颜色通道，我们将高斯曲线分别应用于每个通道，并将结果相乘，得出量度$E$。

Fusion

对于每个像素，我们使用乘法将来自不同度量的信息组合成标量权重图，类似于线性组合的加权项，我们可以使用幂函数来控制每个度量的影响：
$$W_{ij,k}=(C_{ij,k}{)}^{w_C}\times (S_{ij,k}{)}^{w_S}\times (E_{ij,k}{)}^{w_E}（1）$$
下标ij，k是指第k个图像中的像素（i，j）。

我们使用我们根据质量测算得出的权重，将沿着每个像素计算加权平均值融合N张图片。为获得一致的结果，我们对N个权重图的值进行归一化，以使它们在每个像素（in，j）处加和为1：
$${\hat{W}}_{ij,k}=[\sum _{k^{\prime }=1}^N{W}_{ij,k^{\prime }}{]}^{-1}{W}_{ij,k}$$
然后可以通过输入图像的加权混合获得结果图像R:
$$R_{ij}=\sum _{k=1}^N{\hat{W}}_{ij,k}{I}_{ij,k}$$
以$I_k$表示序列中的第k个输入图像。不幸的是，仅应用以上方程式不能得出令人满意的结果。无论权重变化如何，都会出现令人不安的接缝。发生这种情况是因为我们合并的图像由于其不同的曝光时间而包含不同的绝对强度。通过使用高斯滤波器对权重图进行平滑处理，可以避免急剧的权重图转换，但这会导致边缘周围出现不希望的光晕，并且会在对象边界上溢出信息。使用双边过滤器进行边缘感知的平滑操作似乎是更好的选择。但是，尚不清楚如何定义控制图像，应该在哪里停止平滑处理。原始灰度图像作为对照图像效果不佳。而且，很难找到好的用于双边过滤器的参数（即用于控制空间和强度影响的参数。
解决接缝问题，我们将图像A的拉普拉斯金字塔分解中的第l级定义为 L { A } l L\{A\}^l L{A}l，对于图像B的高斯金字塔定义为 G { B } l G \{B\} ^l G{B}l。然后，我们以类似于方程式的方式混合系数（不同金字塔等级的像素强度）:
L { R } i j l = ∑ k = 1 N G { W ^ } i j , k l L { I } i j , k l L\{R\}_{ij}^l = \sum_{k=1}^NG\{\hat{W}\}^l_{ij,k} L\{I\}^l_{ij,k} L{R}ijl​=k=1∑N​G{W^}ij,kl​L{I}ij,kl​
因此，将得出的拉普拉斯金字塔的每个级别$l$计算为级别$l$的原始拉普拉斯分解的加权平均值，而权重图的高斯金字塔的第l级别用作权重。最后，将金字塔 L { R } l L\{R\}^l L{R}l 折叠以获得$R$。
多分辨率混合在避免接缝方面非常有效，因为它混合了图像特征而不是强度。由于混合等式（1）是在每个比例下分别计算的，因此权重图中的尖锐过渡仅会影响原始图像（例如边缘）中出现的尖锐过渡。相反，原始图像中的平坦区域将始终具有可忽略的系数幅度，因此，即使输入之间的绝对强度可能不同，权重函数也可能不会受到急剧变化的影响。
在处理彩色图像时，我们发现在每个彩色通道中分别进行曝光融合可以产生良好的效果。

实验

我们所有的示例都是由JPG编码的照片构成的，具有未知的伽玛屈曲和相机响应曲线。在大多数示例中，使用了加权平均的质量度量（$w_C=w_S=w_E=1$），flash exposure 的图像使用（$w_C=1，w_S=w_E=0$）