《Denoising vs. Deblurring: HDR Imaging Techniques Using Moving Cameras》

这篇文章的标题是《Denoising vs. Deblurring: HDR Imaging Techniques Using Moving Cameras》，作者是Li Zhang、Alok Deshpande和Xin Chen，来自威斯康星大学麦迪逊分校，并发表在ACM的会议或期刊上：

Denoising vs. deblurring: HDR imaging techniques using moving cameras | IEEE Conference Publication | IEEE Xplore

摘要= =

背景：

• 文章讨论了使用移动相机进行高动态范围（HDR）成像的技术。随着相机技术的发展，如Canon EOS 7D和Pointgrey Grasshopper等新型相机配备了14位的传感器，这为HDR成像提供了新的可能性。

问题：

• 传统的HDR成像技术要求相机在拍摄过程中保持静止，同时场景也必须是静态的，以便长时间曝光可以准确记录暗部图像区域。然而，任何相机或场景的运动都会在图像中引入模糊。

研究内容：

• 本文提出了一种理论分析和实用方法，利用高分辨率量化的新相机进行可靠的HDR成像。作者提出了一个统一的概率公式，用于分析比较两种HDR成像方案：
  1. 对单个模糊但清晰的图像进行去模糊处理（deblurring）。
  2. 对一系列清晰但嘈杂的图像进行去噪处理（denoising）。
• 通过分析HDR图像估计的不确定性，作者得出结论，多图像去噪提供了更可靠的解决方案。
• 为了实践，作者提出了一种结合光流和图像去噪算法的方法，用于HDR成像。这种方法可以在复杂场景中，即使使用手持相机，也能捕捉到具有大深度变化的清晰HDR图像。

贡献：

• 提出了一个新的概率公式，统一了单图像去模糊和多图像去噪的问题。
• 使用变分推断和将运动作为隐藏变量，分析了HDR图像估计的近似不确定性，并得出去噪是HDR成像的更好选择。
• 提出了一种新颖的方法，结合现有的光流和图像去噪技术，用于HDR成像，使得手持相机能够捕捉具有大深度变化的复杂场景的清晰HDR图像。

这篇文章提出了一种新的方法，利用具有高分辨率量化的相机，通过概率公式比较了两种HDR成像技术：单图像去模糊和多图像去噪。研究发现，在移动相机的情况下，多图像去噪能够提供更可靠的HDR成像结果。文章还介绍了一种结合光流和图像去噪的实用技术，能够处理复杂场景中由手持相机拍摄的、具有大深度变化的图像，并在合成和真实图像上进行了定量评估，验证了该方法的有效性。

第1章：引言 (Introduction)

在本文的第一章引言中，作者们深入探讨了高动态范围（HDR）成像的重要性及其在视觉和图形领域的发展历程。他们指出，尽管HDR技术能够捕捉更宽广的亮度范围，创造出比传统成像技术更加逼真的图像，但其应用一直受限于对相机和场景静止的严格要求。然而，随着新型相机技术的发展，特别是配备了高分辨率模数转换器（ADC）的相机，如Canon EOS 7D和Point Grey Grasshopper，这些相机的高位数传感器为HDR成像提供了新的可能性和挑战。作者们提出了一个创新的方法，利用这些高分辨率ADC相机进行灵活的HDR成像，即使在相机移动或场景动态变化的情况下也能够工作。他们通过概率公式对两种HDR成像技术——单图像去模糊和多图像去噪——进行了比较，并利用变分推断和运动作为隐藏变量的理论分析，得出了多图像去噪在HDR成像中更为可靠的结论。此外，作者们还提出了一种新颖的实践方法，结合光流和图像去噪技术，使得即使在手持相机拍摄复杂场景时，也能够获得清晰、动态范围宽广的HDR图像。这项工作不仅展示了在理论上的深刻洞察，还通过实验验证了其方法的有效性，为未来在更广泛的摄影场景中应用HDR技术铺平了道路。

1.1 高动态范围成像 (HDR Imaging) 的重要性：

• 高动态范围成像在过去十年中一直是视觉和图形领域的一个活跃话题。HDR技术能够捕捉比普通相机更大的亮度范围，从而更好地再现场景的真实外观。

1.2 现有技术的局限性：

• 早期的HDR成像方法，如Debevec和Malik提出的方法，适用于早期的数字相机，这些相机通常具有8位模数转换（ADC）。然而，这些方法要求相机在图像获取过程中保持静止，场景也必须是静态的，以便长时间曝光可以准确记录暗部图像区域。

1.3 新型相机的优势：

• 现代许多消费级单反相机或机器视觉相机配备了更高分辨率的ADC，例如Canon EOS 7D和Point Grey Grasshopper拥有14位ADC，许多其他相机至少有12位ADC。这些高分辨率ADC为HDR成像提供了更宽的操作范围。

1.4 研究目标：

• 本文提出了一种有效的方法，利用新型高分辨率ADC相机，以灵活的方式进行HDR成像，而不需要假设场景或相机是静止的。

1.5 研究方法：

• 为了在不假设静止场景或相机的情况下捕获良好的HDR图像，研究者需要在长时间曝光积累更多光子后去除运动模糊，或者在短时间曝光积累较少光子后去除噪声。由于第二种方法耗时更短，在固定时间预算内可以捕获更多图像，有助于更好的噪声降低。

1.6 研究贡献：

• 文章提出了一种概率公式，允许比较去噪和去模糊在产生更好的HDR图像方面的性能。
• 通过变分推断和将运动作为隐藏变量，研究者推导出了HDR图像估计的近似不确定性，得出了去噪是HDR成像的更好选择的结论。
• 为了将理论见解应用于实践，提出了一种新颖的方法，结合现有的光流和图像去噪技术，用于HDR成像。这种方法使得使用手持相机捕获复杂场景的清晰HDR图像成为可能。

1.7 研究意义：

• 本文的工作表明，如果相机具有高分辨率ADC、高帧率和高ISO，就可以通过计算实现大景深、高动态范围和小运动模糊的三个主要目标，而不必依赖于专门的光学设计。这一特性使得该方法适用于具有简单光学的微型相机，例如手机中使用的相机或在手术中使用的相机。

第2章：相关工作 (Related Work)

2.1 HDR成像技术的发展：

• 本文的相关工作部分首先回顾了HDR成像技术的发展历程。Debevec和Malik的工作[14]被广泛认为是HDR成像领域的开创性研究，他们提出了一种结合不同曝光照片的方法来创建HDR图像。这种方法适用于早期的数字相机，这些相机通常具有8位模数转换（ADC）。

2.2 现有技术的局限性：

• 尽管HDR成像技术已经取得了显著进展，但现有技术通常要求相机在图像采集过程中保持静止，同时场景也必须是静态的。这是因为长时间曝光需要以准确记录暗部图像区域，而任何相机或场景的运动都可能在图像中引入模糊。

2.3 高分辨率ADC的优势：

• 随着许多消费级单反相机或机器视觉相机配备了更高分辨率的ADC，例如14位ADC，这为HDR成像提供了新的机遇。高分辨率ADC可以更准确地量化图像信号，从而有助于提高HDR成像的质量。

2.4 多图像去噪和去模糊技术的结合：

• 文中提到了近期的研究工作，这些工作结合了不同曝光的多幅图像来产生清晰和干净的图像。例如，Yuan等人[27]和Tico和Vehvilainen[24]结合了噪声和模糊的图像对，而Agrawal等人[3]结合了不同曝光的多幅模糊图像。但这些研究大多限于空间不变模糊。

2.5 光流和图像对齐技术：

• 为了解决空间变化模糊的问题，一些研究者尝试使用视频去噪技术处理多幅噪声图像。特别是，本文的工作受到了Boracchi和Foi[6]的启发，他们结合了先进的视频去噪方法VBM3D[12]和基于单应性的图像对齐进行多帧去噪。

2.6 运动补偿过滤：

• 运动补偿过滤在视频去噪中已有三十年的历史[18]。然而，对于复杂运动的光流计算是具有挑战性的。一些近期工作假设了简化的帧间变换，例如[5]中的平移和[10, 23]中的单应性。更复杂的运动处理可能需要用户辅助[5]。

2.7 HDR成像方法的进展：

• Debevec和Malik[14]引入了结合多张照片创建HDR图像的经典方法，假设相机固定且场景静态。后续工作将其推广到变化的视点[21, 25]和动态场景[19]，但没有考虑长时间曝光期间的运动模糊。Lu等人[22]最近结合了去模糊和HDR创建，但他们的方法限于空间不变核。

2.8 本文的方法与现有工作的区别：

• 本文提出的方法是首次展示了如何使用手持相机自动创建复杂几何场景的清晰HDR图像，这些场景通常违反了空间不变运动模糊的假设。这种方法建立在现有的光流算法[7]之上，并描述了处理光流误差的技术。

2.9 与Bennett和McMillan的工作[5]的比较：

• Bennett和McMillan的工作[5]可能是与本文工作最接近的研究，因为它也寻求从噪声视频中创建HDR图像。他们的方法基于与非局部均值[9]结合的去噪方法，并使用全局平移估计。但本文的方法证明比BM3D视频去噪[12]在创建HDR图像方面更有效。

2.10 Hasinoff的工作[16]：

• Hasinoff[16]提出了第一个框架，用于模拟静止相机的去噪和去除焦点模糊之间的权衡。本文的分析可以被视为研究移动相机去噪和去除运动模糊之间权衡的第一步。

总结： 第2章详细讨论了与本文研究相关的工作，包括HDR成像技术的发展、现有技术的局限性、高分辨率ADC的优势、多图像去噪和去模糊技术的结合，以及光流和图像对齐技术的应用。此外，还讨论了运动补偿过滤的历史和发展，以及HDR成像方法的最新进展。最后，作者强调了他们的方法与现有工作的区别，并指出了未来研究的潜在方向。

第3章：问题公式化 (Problem Formulation)

3.1 已知图像运动 (Known Image Motion)

在这一部分，作者考虑了一个简化的情况，即相机运动是已知的。对于每个噪声图像 𝐼𝑘Ik​，作者假设它与干净图像 𝐽J 之间存在全局平移运动 𝑢𝑘uk​，并且图像 𝐼𝑘Ik​ 可以表示为：

𝐼𝑘=𝛿𝑢𝑘𝐽+𝑛𝐼𝑘Ik​=δuk​​J+nIk​​

其中，𝛿𝑢𝑘δuk​​ 表示使用全局运动向量 𝑢𝑘uk​ 进行图像的线性变换。噪声 𝑛𝐼𝑘nIk​​ 被假设为高斯噪声，其方差是空间常数但依赖于图像 𝐼𝑘Ik​ 的平均强度。

对于模糊图像 𝐵B，作者使用以下模型：

𝐵=𝐹{𝑢𝑘}𝐽+𝑛𝐵B=F{uk​}​J+nB​

这里，𝐹{𝑢𝑘}F{uk​}​ 是由运动轨迹 {𝑢𝑘}{uk​} 在曝光期间引起的线性模糊滤波器，可以表示为：

𝐹{𝑢𝑘}=1𝑁∑𝑘=1𝑁𝛿𝑢𝑘F{uk​}​=N1​∑k=1N​δuk​​

𝑛𝐵nB​ 是具有空间常数方差的高斯噪声。

作者的目标是确定是通过多个噪声图像 {𝐼𝑘}{Ik​} 还是通过单个模糊图像 𝐵B 来获得对干净图像 𝐽J 更可靠的估计。

3.2 未知图像运动 (Unknown Image Motion)

在这一部分，作者考虑了图像运动未知的情况。他们通过最大化后验概率 𝑃(𝐽∣{𝐼𝑘}𝑁,𝜎𝑛2)P(J∣{Ik​}N,σn2​) 来从噪声图像序列 {𝐼𝑘}{Ik​} 估计干净图像 𝐽J，同样地，也通过最大化 𝑃(𝐽∣𝐵,𝜎𝑏2)P(J∣B,σb2​) 从模糊图像 𝐵B 估计 𝐽J。

为了比较哪种估计更可靠，作者评估了 log⁡𝑃(𝐽∣{𝐼𝑘}𝑁,𝜎𝑛2)logP(J∣{Ik​}N,σn2​) 和 log⁡𝑃(𝐽∣𝐵,𝜎𝑏2)logP(J∣B,σb2​) 的Hessian矩阵。从优化的角度来看，具有更好条件数的Hessian矩阵将提供对 𝐽J 更可靠的估计。从统计的角度来看，Hessian矩阵作为 𝐽J 分布的Laplacian（局部高斯）近似的精度（逆协方差）矩阵，因此揭示了与 𝐽J 估计相关的不确定性。

3.2.1 log⁡𝑃(𝐽∣𝐵,𝜎𝑏2)logP(J∣B,σb2​) 的近似Hessian

作者首先考虑了由运动轨迹 {𝑢𝑘}{uk​} 引起的模糊操作 𝐹{𝑢𝑘}F{uk​}​ 将模糊图像 𝐵B 与 𝐽J 相关联。为了评估 𝑃(𝐽∣𝐵,𝜎𝑏2)P(J∣B,σb2​)，作者对所有可能的运动轨迹 {𝑢𝑘}{uk​} 进行了边缘化处理，并使用变分推断技术来近似其对数的下界。

3.2.2 log⁡𝑃(𝐽∣{𝐼𝑘}𝑁,𝜎𝑛2)logP(J∣{Ik​}N,σn2​) 的近似Hessian

作者使用与3.2.1节中相似的方法来推导这个情况下的近似Hessian。他们通过边缘化所有可能的运动轨迹来评估 𝑃(𝐽∣{𝐼𝑘}𝑁,𝜎𝑛2)P(J∣{Ik​}N,σn2​)，并应用变分推断技术来近似其对数的下界。

3.2.3 Hessians的比较

作者比较了两个方程的Hessian矩阵，并从信息论和数值优化的角度进行了讨论。他们得出结论，通过去噪多幅图像来估计干净图像 𝐽J 总是比通过去模糊单幅模糊图像更可靠。

3.3 模拟算法 (Simulation Algorithms)

在这一部分，作者提出了从两个后验分布中估计 𝐽J 的算法。他们指出，直接实现这些算法是不切实际的，因为它们定义在指数数量的状态上。因此，作者提出了一些近似方法来使估计算法变得高效。

3.4 模拟结果 (Simulation Results)

作者在合成数据上比较了使用去噪算法和去模糊算法估计 𝐽J 的结果。他们发现，即使在相机过载较大的情况下，多图像去噪的性能仍然明显优于单图像去模糊。

总结

第3章详细阐述了如何将HDR成像问题公式化，并比较了在已知和未知图像运动情况下，去噪和去模糊两种方法的性能。作者使用变分推断和Hessian矩阵分析来证明，在大多数情况下，多图像去噪提供了比单图像去模糊更可靠的HDR图像估计。此外，作者还提出了高效的模拟算法，并通过模拟实验验证了他们的理论分析。

第4章：处理空间变化的运动 (Handling Spatially Varying Motion)

• 第4章讨论了如何将多图像去噪算法扩展到处理空间变化的运动。这在实际应用中非常重要，因为手持相机拍摄时，场景中的不同部分可能因为深度差异而产生不同的运动模糊。

光流估计：

• 作者提出使用光流算法来估计图像中每个点的运动。光流提供了一种方法来跟踪图像序列中的特征点，并估计它们在空间和时间上的变化。

光流误差处理：

• 由于光流估计可能存在误差，尤其是在复杂运动或噪声较大的情况下，作者提出了几种技术来处理这些误差：
  • 鲁棒的时间平均 (Robust Temporal Averaging)：只对参考像素周围一定范围内的像素进行平均，以处理遮挡或光流误差导致的错配问题。
  • 使用PCA进行时间去噪 (Temporal Denoising using PCA)：对于轻微错配的图像块集合，应用主成分分析(PCA)来去除噪声。
  • 使用BM3D进行空间去噪 (Spatial Denoising using BM3D)：在时间去噪后，使用块匹配3D变换域去噪(BM3D)方法进一步去除图像中的颗粒状噪声。

实验结果：

• 作者展示了在几个场景下应用所提方法的实验结果，包括书籍、花卉和生日派对等场景。这些结果表明，即使在相机移动和复杂场景下，所提出的方法也能够有效地生成高质量的HDR图像。
• 作者讨论了他们方法的优势和潜在的改进空间。他们指出，虽然使用了100幅图像进行实验，但确定最优的图像数量N是一个值得进一步研究的问题。此外，他们还对高速相机在消费摄影中的应用表示了兴趣。

第5章：HDR成像结果 (HDR Results)

实验设置：

• 实验使用了Point Grey Grasshopper 14S3C彩色视频相机，该相机具有1384×1032@21FPS的分辨率和14位的ADC。
• 作者采用了小光圈（F8）、短曝光时间（0.56毫秒）和最高增益设置来获取100张带有最小运动模糊和散焦的噪声图像。

静态场景的HDR成像：

• 对于静态场景，作者首先将相机固定在三脚架上，捕获1000张图像，并通过对这些图像求平均来计算真实情况（ground truth）。
• 然后，作者手持相机在与真实情况相同的视点周围移动，捕获99张后续的抖动图像。

不同场景的HDR成像结果：

• 书籍场景：场景包括从1米到2米距离的一系列书籍，以及黑暗房间中的一些周围物体。输入图像虽然清晰但带有噪声，尤其是在暗区域。作者的方法能够揭示暗区域中的对象细节。
• 复杂物体场景：场景包含许多相互遮挡的物体，如头发等细节丰富的物体。作者的方法能够很好地保留这些细节。
• 生日派对环境：由于蛋糕上的火焰闪烁，没有记录真实情况。即便如此，结果中仍然清晰地显示了桌面的纹理和生日卡片。

 与现有视频去噪技术的比较：

• 作者将他们的方法与现有的视频去噪技术VBM3D进行了比较。由于VBM3D仅适用于灰度图像，作者将输入图像转换为灰度，并在灰度图像上应用了他们的方法和VBM3D。
• 结果显示，作者的方法在去除噪声和保留细节方面表现更好，尤其是在均匀区域和细节丰富的区域（如头发和背景纹理）。
• 作者还比较了使用8位与14位量化进行HDR成像的结果，以及使用鲁棒平均和PCA进行时间去噪的效果。由于篇幅限制，这些结果可以在项目网站上查看。

 讨论：

• 本章讨论了去噪作为利用新型高分辨率ADC相机进行灵活HDR摄影的更可靠方法。作者的方法使得使用手持相机捕获具有大深度变化的复杂场景的清晰HDR图像成为可能。
• 作者提出了几个有趣的未来研究方向，包括确定所需的最佳图像数量、探索高速相机在消费摄影中的其他应用等。

第6章：讨论 (Discussion)

在第六章讨论中，作者深入探讨了本文提出的去噪方法相较于传统去模糊技术在HDR成像中的优越性，并指出了使用高分辨率模数转换器（ADC）的新型相机在灵活HDR摄影中的潜力。作者强调了多图像去噪方法在处理由手持相机拍摄的复杂场景中的有效性，特别是在存在大深度变化和空间变化运动的情况下。此外，作者提出了未来研究的方向，包括对HDR成像性能曲线的建模以确定最优图像数量、探索高速相机在消费摄影中的其他潜在应用，以及进一步提高算法效率和成像质量的可能性。最后，作者对于资助机构、代码贡献者以及审稿人的感谢表明了学术研究社区协作的重要性。这段讨论不仅总结了全文的核心贡献，而且为未来的技术进步和学术探索奠定了基础。