《Non-uniform Deblurring for Shaken Images》

这篇论文的标题是《Non-uniform Deblurring for Shaken Images》，作者是Oliver Whyte、Josef Sivic、Andrew Zisserman和Jean Ponce，分别来自INRIA、牛津大学工程科学系、巴黎高等师范学校。论文主要研究了由于相机抖动引起的模糊问题，并提出了一种新的非均匀模糊去除方法：

论文链接cvpr10d.pdf (ens.fr)

摘要

• 相机抖动引起的模糊主要是由于相机的3D旋转，导致整个图像上的模糊核可能显著不均匀。
• 传统去模糊方法通常假设模糊核是均匀的，但实际抖动引起的模糊并非如此。
• 本文提出了一种基于相机曝光期间旋转速度的新的参数化几何模型。
• 该模型应用于两种不同的相机抖动去除算法：一种使用单个模糊图像（盲去模糊），另一种使用模糊图像和清晰但有噪声的图像。
• 实验表明，新方法能模拟和去除比传统方法更广泛的模糊类型，包括将均匀模糊作为特殊情况，并在真实图像上展示了有效性

图1所示。抖动图像中可见的模糊不均匀性。
左:模糊的图像。右图:图片不同部分的特写。

注意中间和底部特写的模糊形状的不同。

1. 引言 (Introduction)

• 内容: 介绍了相机抖动引起的模糊问题，尤其是在低光环境下，以及现有方法的局限性。
• 分析: 引言部分为读者提供了研究背景，说明了研究的必要性和目的。

2. 几何模型 (Geometric Model)

• 2.1 运动模糊和单应性 (Motion Blur and Homographies)

  • 内容: 讨论了相机旋转对模糊的影响，以及如何通过单应性（homography）来描述不同相机旋转下的图像关系。
  • 公式: 提出了单应性矩阵 𝐻=𝐾𝑅𝐾−1H=KRK−1，其中 𝐾K 是相机的内参矩阵，𝑅R 是旋转矩阵。
  • 分析: 这部分通过数学公式建立了图像之间变换的几何关系。

图2。图像点在单轴旋转下的路径。左:绕Y轴旋转。右:绕z轴旋转。在单轴相机旋转下，图像中点所遵循的路径在整个图像中明显弯曲且不均匀。在这个模拟中，相机的焦距等于图像的宽度，主点在图像的中心，像素被假设为正方形。

• 2.2 相机校准 (Camera Calibration)

  • 内容: 描述了如何从图像的EXIF标签中恢复相机的像素大小和焦距，以及如何处理镜头畸变。
  • 分析: 这一部分对于理解如何从实际图像数据中提取相机参数至关重要。
• 
• 

3. 恢复模型 (Restoration Model)

• 内容: 将连续的模糊模型离散化，以适应实际相机的像素化图像。
• 公式:
• 
• 
• 分析: 这部分通过离散化的模型，为模糊图像的恢复提供了数学基础。

4. 应用 (Applications)

• 4.1 模糊核的约束和先验 (Constraints and Priors for Blur Kernels)

  • 内容: 讨论了在模糊核估计中需要的正则化和约束条件。
  • 分析: 说明了为何需要这些约束，以及它们如何帮助解决病态问题。

• 4.2 盲去模糊 (Blind Deblurring)

  • 内容: 描述了只有单个模糊图像时的去模糊方法。
  • 公式: 引入了变分推断方法来估计模糊核 𝑤^w^。
  • 分析: 这部分详细介绍了如何通过优化过程来估计模糊核。

5. 盲去模糊 (Blind Deblurring)

• 5.1 核估计 (Kernel Estimation)

  • 内容: 讨论了如何使用变分推断方法来估计模糊核。
  • 公式: （10）引入了Kullback-Leibler散度 𝐶𝐾𝐿CKL 来最小化后验分布与近似分布之间的差异。
  • 分析: 这部分深入探讨了如何通过迭代优化过程来获得最佳的模糊核估计。

模糊图像：展示了一张由于相机抖动而模糊的图像。

• 去模糊结果：

  • Fergus等人的方法：展示了使用Fergus等人提出的均匀去模糊算法处理后的图像。由于该方法假设模糊核是均匀的，因此在处理非均匀模糊时可能无法恢复清晰的细节。

  • 本文提出的方法：展示了使用本文提出的非均匀去模糊算法处理后的图像，能够更好地恢复图像的细节和结构。

• 模糊核：

  • Fergus等人的方法：显示了均匀模糊核的估计结果，由于方法的局限性，可能无法准确反映实际的模糊情况。

  • 本文提出的方法：通过3D旋转参数空间（θX, θY, θZ）中的点来可视化非零模糊核元素，展示了估计的旋转模糊核，特别是显示了显著的平面内分量（即在多个θZ值上都有非零值）。

手持图像：展示了一张手持相机拍摄的、由于相机抖动而模糊的图像。

• 去模糊结果：
  • Fergus等人的方法：展示了使用Fergus等人的算法得到的去模糊图像，可能存在一些模糊和细节丢失。
  • 本文提出的方法：展示了使用本文算法得到的去模糊图像，能够展示更多的细节，尽管可能存在一些“振铃”效应（ringing artifacts），这些伪影主要是由于Richardson-Lucy图像重建步骤产生的。
• 变分推断的潜在图像：在非均匀情况下，展示了通过变分推断计算得到的潜在图像（latent image），该图像是通过将梯度转换为强度得到的。潜在图像比Fergus等人的去模糊结果包含更多的细节，并且没有振铃效应。

• 这两个图表清楚地展示了非均匀去模糊算法在处理真实世界相机抖动引起的模糊图像时的优势。与均匀去模糊算法相比，本文提出的方法能够更准确地估计模糊核，并且恢复出更多的图像细节。
• 图表中的模糊核可视化进一步说明了非均匀模糊核的复杂性，以及本文方法如何能够捕捉到这种复杂性。
• 尽管非均匀去模糊方法在某些情况下可能会产生一些振铃效应，但这些效应通常可以通过进一步的图像处理技术来减少。

• 5.2 图像重建 (Image Reconstruction)

  • 内容: 描述了如何使用Richardson-Lucy算法来估计清晰图像。
  • 公式: （11）引入了Richardson-Lucy算法的迭代更新公式 𝑓^←𝑓^⊙𝐴𝑇𝑔𝐴𝑓^f^​←f^​⊙Af^​ATg​。
  • 分析: 这部分解释了如何利用已知的模糊核来恢复清晰的图像。
• 

6. 使用噪声/模糊图像对的去模糊 (Deblurring with Noisy / Blurry Image Pairs)

• 6.1 核估计 (Kernel Estimation)

  • 内容: 描述了如何使用清晰但有噪声的图像来估计模糊核。
  • 公式:
  • 分析: 这部分讨论了如何利用Lasso问题的优化算法来估计模糊核。

• 6.2 图像重建 (Image Reconstruction)

  • 内容: 描述了如何使用Yuan等人提出的修改版Richardson-Lucy算法进行图像重建。
  • 分析: 这部分讨论了如何利用清晰图像的信息来减少去模糊过程中的伪影。
• 
• 

7. 实现 (Implementation)

• 内容: 描述了算法的实现细节，包括旋转参数的采样、多尺度实现和图像配准。
• 分析: 这部分提供了算法实现的具体步骤和选择特定参数的理由。

使用噪声/模糊图像对去模糊真实相机抖动模糊。使用Yuan等人[29]提出的改进Richardson-Lucy算法获得的带噪声/模糊的手持相机拍摄的图像对和估计的核，以及去模糊的图像。为了说明，还显示了由旋转核生成的局部滤波器的选择。从特写中可以看出，与使用均匀模糊模型相比，我们的结果包含了更多的细节和更少的去模糊伪影。

8. 结论 (Conclusion)

主要贡献

• 新模型的提出：作者提出了一个基于相机绕光心旋转的非均匀模糊模型，该模型考虑了相机在曝光期间的旋转速度，能够更准确地描述和处理实际相机抖动引起的模糊。

• 算法的应用：将新模型应用于两种现有的相机抖动去除算法框架中，一种是盲去模糊，另一种是使用清晰但有噪声的图像对进行去模糊。实验结果表明，新方法在模拟和去除更广泛的模糊类型方面比传统方法更有效，包括将均匀模糊作为特殊情况。

• 实验验证：通过在真实图像上的实验，展示了新模型的有效性。与现有方法相比，新方法能够恢复更多的细节，并且减少去模糊过程中产生的伪影。

• 适用场景限制：该模型假设相机仅绕光心旋转，不考虑平移或其他非静态场景，也不适用于存在显著视差效应的近景场景。

• 计算复杂性：模型的参数化方法虽然提高了去模糊的准确性，但同时也增加了计算的复杂性，特别是在高分辨率图像上。

• 参数估计挑战：尽管提出了有效的算法来估计模糊核，但在某些情况下，从单个模糊图像中准确估计模糊核仍然是一个挑战。

• 扩展模型应用：探索将新模型应用于其他类型的非均匀模糊，例如由非刚性运动或非线性动态引起的模糊。

• 算法优化：研究更高效的算法来处理高分辨率图像，减少计算时间和资源消耗。

• 同时估计清晰图像和模糊核：考虑开发新的算法，同时从单个模糊图像中估计清晰图像和模糊核，进一步提高去模糊的准确性和效率。

• 处理更复杂场景：研究如何将模型扩展到更复杂的场景，包括非静态场景和存在显著视差的场景。

• 实际应用探索：将新模型集成到实际的摄影和图像处理应用中，例如智能手机相机、专业摄影设备或医疗成像。

这篇论文通过提出新的非均匀去模糊模型，并对现有算法进行改进，为解决相机抖动引起的模糊问题提供了新的视角和方法。论文中的公式和算法细节为实现这一目标提供了坚实的理论基础