论文阅读： Gated Context Aggregation Network for Image Dehazing and Deraining

今天发现自己构思了很久的一个想法，已经初步成型 的网络，在ArXiv上发现了已经成型的论文。害，现在心情很down

2018 WACV ：GCANet

这篇文章主要结合平滑扩张卷积以及提出了一种门限融合子网络来完成图像的去雾和去雨，效果比较好。

本片文章主要是提出了一个端到端门控上下文聚合网络来直接恢复最终的无模糊图像。
在该网络中，我们采用最新的平滑扩张卷积技术来帮助去除广泛使用的扩张卷积引起的网格伪影，而额外的参数可以忽略，并利用门控子网络融合不同层次的特征。

主要关键词： 平滑扩张卷积 + 门控融合子网络

网络结构

整体网络可以看作一个简单的自动编码器。
从网络中我们可以看出，首先是三个卷积模块将输入的模糊图像编码到特征图中作为编码部分，并且最后一个卷积层进行了下采样。
然后通过七个平滑扩张的残差块，使用平滑扩张卷积替代了原始的正则卷积层。除了最后一个卷积层和平滑扩张卷积层中额外的每一个可分离和共享的卷积层，我们在每个卷积层之后放置了实例归一化层 IN 和ReLU层。
再之后通过一个门限融合子网络用于融合不同leve的特征，这里是一个简单的卷积模块。
再之后，通过一个反卷积层上采样到原始分辨率，接下来的两个卷积层将feature map转换回图像空间，得到残差图，最终得到一个处理之后的图像。

具体实现

1、平滑扩张卷积

对于传统的池化层和连续的上下采样可能会丢失掉一些全局的空间分辨率信息，平滑扩张卷积可以解决这一问题，可以在不损失分辨率的情况下扩大感受野。

普通卷积输出：

扩张卷积输出：

其中，r是扩张因子，当r = 1时，就是普通的卷积。
在两个相邻的权值之间插入r - 1个0.可以在不降低分辨率的情况下，将原始感受野从k增加到r *(k -1) + 1。

膨胀的卷积中，输入单位和输出单位之间没有依赖关系。这就是为什么它会潜在地导致不一致性，即网格伪影。

平滑扩张卷积提出在扩张卷积之前增加输入单元之间的相互作用，或者在扩张卷积之后增加输出单元之间的相互作用，增加内核大小的卷积层(2r - 1)。
平滑扩张卷积采用了可分离和共享卷积作为额外的卷积层，而不是普通的卷积层。
可分离的意思是可分离卷积，而共享的意思是卷积权值对所有信道都是共享的。这样，这个特殊的卷积层具有恒定的参数大小(2r - 1)2，与特征通道数无关。

2、门限融合子网络

首先从不同层次中提取特征图Fl，Fm，Fh，并将其输入门限融合子网。
门控融合子网络的输出为三个不同的重要度权重(Ml;Mm;Mh)，分别对应于每个特征层次。
最后，这三个特征映射与回归的权重进行线性组合。

本文中，门限融合子网络是一个简单的卷积层，核大小为3 x 3， 输入为三个特征图，输出通道数是3。

3、损失函数

采用了MSE损失。
可以加入感知，GAN损失来优化效果。

写的不好，逻辑性也不强。害