Deblur-2008-High-quality Motion Deblurring from a Single Image

（前一部分的翻译）
[原文链接：High-quality Motion Deblurring from a Single Image]

摘要

我们提出了一个单张图像去运动模糊的算法。该方法使用一个修正的概率模型估计模糊核，同时进行非模糊图像的修复，得到去模糊的图像。文中对当前去模糊方法中发现的常见伪影的原因进行了分析，然后在这个概率模型中引入了几个受我们分析启发的新约束项。这些项包括模糊图像中噪声的空间随机性模型，以及一个新的局部平滑度先验，通过在模糊图像表现出低对比度的地方约束未模糊图像的对比度来减少振铃伪影。最后，我们描述了一个高效的优化方案，该方案在模糊内核估计和非模糊图像修复之间交替进行，直到收敛。 作为这些步骤的结果，我们能够在低计算时间内产生高质量的去模糊结果。我们甚至能够产生与那些除了一张模糊的照片之外还需要额外输入图像的技术以及需要额外硬件的方法相媲美的结果。

Keywords: motion deblurring, ringing artifacts, image enhancement, filtering

介绍

数码摄影中最常见的假象之一是由相机抖动引起的运动模糊。在许多情况下，根本没有足够的光线来避免使用长快门速度，而不可避免的结果是，我们的许多快照变得模糊不清，令人失望。从一张运动模糊的照片中恢复一个未模糊的图像 长期以来一直是数字成像的一个基本研究问题。如果我们假设模糊的内核[或点扩散函数PSF]是移位不变的，那么这个问题就简化为图像的解卷积。图像去卷积可以进一步分为盲目和非盲目两种情况。在非盲目去卷积中，运动模糊核被假定为已知或在其他地方计算过；剩下的唯一任务是估计未模糊的潜在图像。传统的方法如Weiner滤波[Wiener 1964][^1]和Richardson-Lucy(RL)去卷积[Lucy 1974]是在几十年前提出的，但由于它们简单有效，现在仍被广泛用于许多图像修复任务。然而，这些方法往往会在强边缘附近出现令人不快的振铃假象。在盲去卷积的情况下[Fergus 2006; Jia 2007]，问题甚至更加棘手，因为模糊核和潜像都被假定为未知。自然图像结构的复杂性和模糊核形状的多样性使其很容易过度或不适合概率先验[Fergus 2006]。

图1 高质量的单幅图像的运动去模糊化。左边的子图显示了在昏暗的光线下使用手持摄像机拍摄的一幅图像。它是被一个未知的内核严重模糊了。右边的子图显示了我们通过估计模糊的内核和未模糊的潜像来计算的去模糊的图像结果。未模糊的潜像。我们展示了几个模糊/未模糊的图像区域的特写以进行比较。

在本文中，我们通过探索诸如振铃等视觉伪影的主要原因开始了对盲目去卷积问题的研究。我们的研究表明，如果模糊的图像不包含噪声，并且模糊的内核不包含错误，那么目前的去卷积方法可以有足够的表现。因此，我们观察到，一个更好的固有图像噪声模型和更明确地处理由模糊内核估计错误引起的视觉伪影，应该会大大改善结果。基于这些想法，我们提出了一个盲去卷积和非盲去卷积的单化概率模型 并通过先进的迭代优化解决相应的最大后验（MAP）问题，在模糊核细化和图像修复之间交替进行，直到收敛。我们的算法可以用一个粗略的内核估计（例如，一条直线）来初始化，我们的优化能够收敛到一个结果 保留复杂的图像结构和精细的边缘细节，同时避免振铃伪影，如图1所示。

为了实现这些结果，我们的技术得益于三个主要贡献。第一个是图像噪声的空间随机分布的新模型。这个模型帮助我们分离了图像噪声估计和模糊核估计过程中出现的错误，这两者的混合是以前方法中伪影的一个关键来源。我们的第二个贡献是一个新的平滑度约束，我们在观察到的图像具有低对比度的区域对潜像施加了这个约束。这个约束对抑制振铃伪影非常有效，不仅在光滑区域，而且在附近有纹理的区域。这种约束的效果也会传播到内核细化阶段。我们最后的贡献是一个高效的优化算法，它采用了先进的优化方案和技术，如变量替换和Plancherel定理，允许在频域中进行计算密集型优化步骤。我们通过展示我们的方法以及与几个最先进的单幅图像去模糊化方法的输出进行比较来证明我们的方法。我们还将我们的结果与那些需要单幅图像以外的额外输入的算法（如多幅图像）和利用专门硬件的算法所产生的结果进行了比较；令人惊讶的是，即使只使用单幅图像作为输入，我们的大多数结果也是可以比较的。

相关工作

我们首先回顾了非盲目去卷积的技术，在这种情况下，模糊的内核是已知的，只有一个潜像必须从 的模糊图像中恢复潜像。最常见的技术是Richardson-Lucy（RL）去卷积技术[1974]，该技术在计算潜像时假设其像素强度符合泊松分布。Donatelli等人[2006]使用一个基于PDE的模型，通过加入抗反射边界条件和重新模糊的步骤，恢复一个减少振铃的潜像。信号处理界提出的一些方法在小波域或频域解决去卷积问题[Neelamani等人，2004]；其中许多论文缺乏对真实照片去模糊化的实验，而且很少有论文试图对估计内核的误差进行建模。Levin等人[2007]使用稀疏导数先验来避免去卷积中的振铃假象。然而，大多数非盲目的去卷积方法都假设模糊核不包含错误，正如我们在后面的比较中所显示的，即使是小的核错误或图像噪声也会导致明显的伪影。最后，许多这样的去卷积方法需要复杂的参数设置和漫长的计算时间。
盲去卷积是一个明显更具挑战性和不确定的问题，因为模糊的内核也是未知的。一些技术通过利用额外的输入，如多幅图像，使问题更容易解决。输入，如多幅图像。Rav-Acha等人[2005]利用了 Rav-Acha等人[2005]利用两幅运动模糊图像中的信息，而Yuan等人[2007]则使用一对图像，其中一幅是模糊的，另一幅是不模糊的。而Yuan等人[2007]使用了一对图像，一个是模糊的，一个是有噪声的，以方便在低光照条件下的捕捉。其他运动去模糊系统利用 额外的、专门的硬件的优势。Ben-Ezra和Nayar[2004]将一个低分辨率的摄像机连接到一个高分辨率的 来帮助记录模糊的内核。Raskar等人[2006] Raskar等人[2006]在曝光过程中对相机快门的开启和关闭进行了调整，以尽量减少高空间频率的损失。在他们的 方法中，物体的运动路径必须由用户指定。与所有这些方法相比，我们的技术是在单一图像上操作的，不需要额外的硬件。与所有这些方法相比，我们的技术是在单一的图像上操作，不需要额外的硬件。

最棘手的问题是单图像盲去卷积，它必须同时估计PSF和潜像。早期的方法通常假设PSF的简单参数模型，如频域的低通滤波器[Kim and Paik 1998]或正态分布之和[Likas and Galatsanos 2004]。Fergus等人[2006]表明模糊核通常是复杂而尖锐的；他们使用集合学习[Miskin和MacKay 2000]来恢复模糊核，同时假设自然图像梯度的某种统计分布。一种变异的 方法来近似后验分布，然后用 Richardson-Lucy被用于去卷积。Jia[2007]从透明度的角度恢复了一个 从透明度的角度恢复PSF，假设清晰的前景物体的透明度图应该是双色的。这种方法 方法受到需要找到产生高质量消光结果的区域的限制。我们的方法与以往工作的一个显著区别是，我们创建了一个统一的概率性 框架；通过允许这两个估计问题相互作用，我们可以 更好地避免局部最小值和振铃假象。