Scale-recurrent Network for Deep Image Deblurring(SRN-DeblurNet)翻译

香港中文大学，腾讯优图实验室

摘要

在单图像去模糊中，“粗到细”方案（即在金字塔中以不同分辨率逐步还原清晰图像）在传统的基于优化的方法和最新的基于神经网络的方法中都非常成功。 在本文中，我们研究了这种策略，并提出了用于该去模糊任务的规模递归网络（SRN-DeblurNet）。与[25]中许多基于学习的新方法相比，它具有更简单的网络结构，更少的参数数量并且更易于训练。 我们在具有复杂运动的大规模去模糊数据集上评估我们的方法。结果表明，与现有技术相比，我们的方法在定量和定性方面都能产生更好的质量结果。

Introduction

图像去模糊一直是计算机视觉和图像处理中的一个重要课题。对于由摄像机抖动、物体运动或离焦引起的运动或焦模糊图像，去模糊的目标是恢复具有必要边缘结构和细节的清晰的潜在图像。
单图像去模糊是一种高度不适定的方法。传统的方法对模糊特性（如均匀/非均匀/深度感知）应用各种约束，并利用不同的自然图像先验[1,3,6,39,14,40,26,27]对解空间进行正则化。这些方法大多涉及启发式参数调整和复杂的计算。此外，对模糊模型的简化假设通常会阻碍其在现实世界示例中的性能，在这些示例中，模糊比建模要复杂得多，并且会与相机内图像处理管道纠缠在一起。
还提出了基于学习的方法进行去模糊。 早期的方法[29，34，38]用学习的参数替换了传统框架中的一些模块或步骤，以利用外部数据。 最近的工作开始使用端到端的可训练网络去模糊图像[25]和视频[18、33、37]。其中，Nah等人他使用多尺度卷积神经网络（CNN）取得了最先进的结果。 该方法从非常粗糙的模糊图像开始，逐渐以更高的分辨率恢复潜像，直到达到全分辨率为止。 该框架遵循传统方法中的多尺度机制，在处理大型模糊内核时，粗到细流水线是常见的[6]。
在本文中，我们探索了一种用于多尺度图像去模糊的更有效的网络结构。 我们提出了新的规模递归网络（SRN），该网络解决了基于CNN的去模糊系统中的两个重要且普遍的问题。

Scale-recurrent Structure

在公认的多尺度方法中，每个尺度的求解器和相应参数通常是相同的。 从直觉上讲，这是一种自然的选择，因为在每种规模下，我们都致力于解决相同的问题。 还发现，在每个尺度上变化的参数都可能引入不稳定性，并引起无限制解空间的其他问题。 另一个问题是输入图像可能具有不同的分辨率和运动比例。 如果允许在每个比例中进行参数调整，则解决方案可能会过分适合特定的图像分辨率或运动比例。
我们认为，出于相同的原因，该方案也应应用于基于CNN的方法。 但是，最近的级联网络[4，25]仍对其规模使用各自独立的参数。 在这项工作中，我们建议跨尺度共享网络权重，以显着降低训练难度并引入明显的稳定性好处。
优点是双重的。 首先，它大大减少了可训练参数的数量。 即使使用相同的训练数据，对共享权重的循环利用也以类似于多次使用数据来学习参数的方式工作，这实际上等于关于尺度的数据增强。 其次，我们提出的结构可以合并循环模块，其中隐藏状态捕获有用的信息并有益于跨规模恢复.

Encoder-decoder ResBlock Network

受到最近用于各种计算机视觉任务的编码器-解码器结构成功的启发[23、33、35、41]，我们探索了使其适应图像去模糊的有效方法。 在本文中，我们表明直接应用现有的编解码器结构无法产生最佳结果。 相反，我们的编码器-解码器残差块（ResBlock）网络会放大各种CNN结构的优点，并在训练中产生可行性。 它还产生很大的接受域，这对于大运动去模糊至关重要。
我们的实验表明，利用递归结构并结合以上优点，我们的端到端深度图像去模糊框架可以极大地提高训练效率（[25]的1/4训练时间来完成类似的恢复）。 我们仅使用少于1/3的可训练参数，并且测试时间要快得多。
如图1所示，除了训练效率，我们的方法在数量上和质量上都比现有方法产生更高的质量结果，将在以后进行详细说明。 我们将此框架命名为递归网络（SRN）。