[深度学习] 图像反卷积的深度积神经网络 Deep Convolutional Neural Network for Image Deconvolution

《图像反卷积的深度积神经网络》
《Deep Convolutional Neural Network for Image Deconvolution》
Li Xu, Jimmy SJ. Ren, Ce Liu, Jiaya Jia
NIPS 2014 pdf

摘要

许多基本的图像处理问题涉及反卷积计算。由于相机噪声，饱和度，图像压缩等原因，实际模糊降级很少符合理想的线性卷积模型。 不同于传统的通过设计完美的模型来解决这一问题，我们要设计了一种深度卷积神经网络来捕捉图像退化的特征，这是相当具有挑战性的。我们注意到直接应用现有的深度神经网络不会产生合理的结果。我们的解决方案是建立传统的基于优化的方案与神经网络架构之间的联系，其中引入了一种新颖的、可分离结构的卷积结构来进行反卷积。我们的网络包含两个子模块，这两个子模块都以监督学习的方式进行了适当的初始化训练。与先前基于生成模型的方法相比，它们在非盲图像（non-blind image）去卷积上有不错的效果。

引言

许多图像和视频降级过程可以建模为一种平移不变卷积。为了恢复这些视觉数据，逆过程即反卷积（去卷积）成为去模糊[1,2,3,4]，超分辨率[5,6]和扩展景深[7]处理过程中的重要工具。

在涉及由相机捕获的图像的应用中，诸如饱和度，有限图像边界，噪声或压缩伪像的异常值是不可避免的。先前的研究表明，不正确地处理这些问题可能会产生与图像内容相关的大量伪像，这些伪像很难被删除。因此，有一些工作致力于在非盲反卷积中对每种特定类型的伪像进行建模和寻址，以抑制振铃效应[8]，去除噪声[9]，并处理饱和区域[9,10]。这些方法可以通过结合补丁级统计[11]或其他方案[4]进一步完善。因为每种方法都有自己的特点和局限性，所以还没有解决所有这些问题的解决方案。图1中示出了一个示例 - 具有压缩误差的部分饱和的模糊图像可能已经使许多现有方法失败。

去除这些伪影的一种方案是通过生成模型。然而，这些模型通常基于强有力的假设，例如相同且独立分布的噪声，其可能不适用于真实图像。这解释了当图像模糊特性稍微改变时，即使是高级算法也会受到影响。

在本文中，我们启动自然图像反卷积的过程，而不是基于它们的物理或数学特征。另外，我们展示了使用图像样本构建数据驱动系统的新方向，这些图像样本可以从相机轻松生成或在线收集。

我们使用卷积神经网络（CNN）来学习反卷积操作，不需要知道人为视觉效果产生的原因，与之前的基于学习的图像去模糊方法不同，它不依赖任何预处理。本文的工作是在反卷积的伪逆背景下，我们利用生成模型来弥补经验决定的卷积神经网络与现有方法之间的差距。我们产生一个实用的系统，提供了有效的策略来初始化网络的权重值，否则在卷积随机初始化训练过程中很难得到，实验证明，当输入的模糊图像是部分饱和的