[去雨论文]--ACM2018-Non-locally Enhanced Encoder-Decoder Network for Single

摘要：

由于深卷积神经网络的发展，单幅图像雨条纹的去除近年来取得了长足的进展。然而,现有的基于深度学习的方法要么专注于网络的入口和出口,将输入图像分解为高和低频率信息和用人残差学习减少映射范围,或专注于级联的引入学习计划分解的任务雨条纹去除为多阶段。这些方法将卷积神经网络视为封装的端到端映射模块，没有深入探讨神经网络设计的合理性和优越性。在本文中，我们探讨了一种有效的端到端神经网络结构，用于更强的特征表达和空间相关学习。具体来说，我们提出了一个非局部增强的编解码器网络框架，该框架由一个池索引嵌入的编解码器网络组成，以有效地学习日益抽象的特征表示，从而更精确地建模雨带，同时完美地保留图像细节。提出的编码器-解码器框架由一系列非局部增强的密集块组成，这些块的设计不仅充分利用了所有卷积层的层次特征，而且能够很好地捕获长距离依赖和结构信息。在合成和真实数据集上的大量实验表明，该方法能够有效地去除各种密度的雨图像上的雨纹，同时很好地保留了图像的细节，与目前最先进的方法相比，取得了显著的改进。

正文：

Motivation:

作者分析了当前模型的特点和缺陷，认为首先，大部分基于深度学习的方法模仿去燥，超分，去模糊等低级图像处理的经验，设计一个浅层的神经网络并在网络推理中保持特征图分辨率不变。由于网络感受野的大小是有限的，每个空间位置的像素值推断仅依赖于周围小的局部区域，因此去除较长的雨带(如图1的第三行)通常比较困难。此外，由于对长距离空间上下文建模的忽视，这些模型在检测暴雨条纹时，往往难以准确地填充雨滴删除图像内容，导致结果往往过于模糊，特别是在纹理丰富的边缘(如图1中的第一行)。
网络结构：

作者提出了一个端到端训练的去雨网络NLEDN，基本结构是Encoder-Decoder的形式，其中加上了pooling索引，多层融合的策略来进一步提升网络的表征能力。此外，最大的创新点就是提出了NEDB模块，内部包含了non-local块+Densenet的连接方式，用来更有效的提取全局上下文信息。对应作者的motivation分析，本文不同以往，进行了下采样上采样的方式来提高感受野，有助于去除比较长的雨纹；此外用了non-local块，来提取全局上下文信息，更好的恢复雨覆盖区域被删除的图像内容。

实验结果：

在去雨几个标准数据集上均达到SOTA的效果且提升很大。

作者没开源训练代码！！！只能自己尝试复现一下了