去雾网络----GCA-Net

最新推荐文章于 2023-11-10 15:14:52 发布

北冥有鱼800

最新推荐文章于 2023-11-10 15:14:52 发布

阅读量513

点赞数

文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/qq_59581717/article/details/132638974

版权

GCA-Net

论文链接：https://arxiv.org/abs/1811.08747

代码链接：GitHub - cddlyf/GCANet: Implementation of "Gated Context Aggregation Network for Image Dehazing and Deraining"

1.网络结构：

我们的整体网络结构也设计为简单的自动编码器，其中在编码器和解码器之间插入七个残差块以增强其学习能力。具体来说，首先使用三个卷积层将输入的模糊图像编码为特征图作为编码器部分，其中只有最后一个卷积层将特征图下采样 1/2 一次。对称地，在解码器部分使用一个步幅为 1/2 的反卷积层将特征图上采样到原始分辨率，然后接下来的两个卷积层将特征图转换回图像空间以获得最终的目标雾度残留。

对于中间残差块，我们称它们为“Smoothed Dilated Resblock”，因为我们已将所有原始常规卷积层替换为上述平滑扩张卷积层。这七个残差块的膨胀率分别设置为(2, 2, 2, 4, 4, 4, 1)。为了在性能和运行时间之间取得良好的折衷，我们将所有中间卷积层的通道数设置为 64。请注意，除了最后一个卷积层和平滑扩张卷积层中每个额外的可分离和共享卷积层外，我们将每个卷积层之后的实例归一化层和 ReLU 层。在实验部分，我们将展示实例归一化比批量归一化更适合图像去雾任务。

除了输入图像之外，预先计算输入图像的边缘并将其作为辅助信息馈送到网络中对网络学习非常有帮助。因此，默认情况下，我们也采用这个简单的想法，将预先计算的边缘与输入的模糊图像沿通道维度连接起来，作为 GCANet 的最终输入。

2.创新点：

1.平滑扩张卷积：

现代图像分类网络通常通过连续的池化和子采样层集成多尺度上下文信息，这些层会降低分辨率，直到获得全局预测。然而，对于像分割这样的密集预测任务，矛盾在于所需的多尺度上下文推理和下采样过程中丢失的空间分辨率信息。为了解决这个问题，提出了一种新的扩张卷积层，它支持感受野的指数扩展，而不会损失分辨率或覆盖范围。尽管空洞卷积很有效，但它会产生所谓的网格伪影。为了缓解这一问题，提出通过增加一个额外的内核大小为(2r - 1)的卷积层，在稀释卷积前的输入单元或稀释卷积后的输出单元之间增加交互。在本文中，我们选择默认添加输入单元的依赖性。需要注意的是，采用了可分离和共享卷积作为额外的卷积层，而不是虚构的卷积层。这样，这个特殊的卷积层有一个恒定的参数大小（2r - 1）2，它与特征通道数无关。

2.门控融合子网

融合不同层次的特征通常对低层次和高层次的任务都有好处。为了实现这个想法，可以使用特征金字塔来融合所有尺度的高级语义特征图，或者利用密集连接的网络。

在本文中，我们采用了一种不同的方式，加入了一个额外的门控融合子网络 G。具体来说，我们首先从不同级别的 Fl、Fm、Fh 中提取特征图，并将它们输入到门控融合子网络中。门控融合子网络的输出是三个不同的重要性权重（Ml，Mm，Mh），分别对应每个特征级别。最后，将这三个不同层次的特征图 Fl、Fm、Fh 与回归的重要性权重线性组合。