引言
论文链接:https://arxiv.org/abs/1908.03245v1
代码链接:https://github.com/proteus1991/GridDehazeNet
一、概述
GridDehazeNet是一个端到端可训练的神经网络,被设计用来去雾。主要有如下贡献:
(1)该方法不依赖于大气散射模型;
对于图像恢复问题,通常需要使用物理模型来合成数据集,那么针对该数据集训练出的去雾模型是否也适应其他的情况,就是说该物理模型是否具有一定的代表性。
(2)预处理模型是可以训练的,相比于人工选择的方法更具有灵活性;
预处理方法通常是基于启发式的,要具体问题具体分析。
(3)基于注意力机制旧的多尺度网络可以较好的估计模型中的参数,该网络可以高效的交换不同尺度的信息,从而有效缓解多尺度估计的瓶颈问题。
有雾图像与去雾图像之间关系极为复杂,建模后设计高维参数。多尺度估计:①用低维模型近似高维模型②基于训练数据评估低维模型参数③参数化估计的低维模型的邻域,执行精细估计来解决此问题,如果需要,重复这个过程。显然,一个尺度上的估计精度将影响下一个尺度上的估计精度。由于多尺度估计通常是以连续的方式进行的,因此其性能往往受到某个瓶颈的限制。
二、网络架构
GridDehazeNet网络结构如上图所示,由三部分组成,分别是:预处理模块、主体模块和后处理模块。
预处理模块由一个卷积网络和一个RDB组成
主体模块是一个grid net
后处理模块由一个RDB组成
残差密集块(RDB)
如图所示是GridDehazeNet网络架构中的RDB的结构,RDB是由文章:Y. Zhang, Y. Tian, Y. Kong, B. Zhong, and Y. Fu. Residual dense network for image super-resolution. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR)提出的。
残差密集块RDB = ** 密集连接 + 局部特征融合(LFF)+ 局部残差 **
** Dense : 所谓连续记忆机制,个人理解其实就是可以将第d − 1 个RDB块的输出直接输入到第d个RDB块中的每一层去(见上图dense部分的红线所示),经过dense的作用,可以将Fd-1、Fd,1、Fd,c,Fd,C的特征都利用起来
** 局部特征融合(Local feature fusion) 即RDB中的那个concat,能够将前一个RDB的输出F d − 1 、当前RDB Fd 中每一层得到的状态融合通过concat在一起。然后,再利用1 × 1卷积对concat降低通道数,简化数据
** 局部残差学习(Local residual learning)**由于RDB中存在多个卷积层,因此引入局部残差学习以进一步改善信息流。
基于注意力机制的特征值相加
三、损失函数
损失函数由两部分组成:分别为** Smooth L1 Loss **和 ** Perceptual Loss **
Smooth L1 Loss
其中x为像素所在位置。
Perceptual Loss