引言
大部分图像降噪、去雨等网络模型都是单步的,也是直接参考目标检测、实例分割那边的网络结果直接演化过来的,然而,多步的网络结果也是存在的,它将图像恢复任务通过很多个编码器-解码器结构的网络模型分解成很多个小的子任务,从而更好地提取不同的空间特征和上下文信息,进行更好地特征融合。于是,该论文就是在这个基础上提出来的。多阶段优点的是相比于单阶段的编码器-解码器结构,由于存在下采样使得会丢失一部分的空间相关信息;但是如果不进行下采样的话,感受野就非常有限,使得不能完全关注某些全局的信息。所以对于是否进行下采样来说,这是一个矛盾的问题,在此基础上提出了多阶段的解决方法,早期阶段结合了编码器-解码器的优点,同时最后阶段基于原始分辨率,尽可能地少丢失了原图的信息。
主要创新点如下:①提出了一种新的多步图像恢复任务的网络结构,可以很好地理解上下文和空间的信息。
②提出了新的Attention的有监督学习的模块。
③提出了在不同步中的多尺度特征融合的方法。
网络结构
网络一共有三个阶段,第一、第二个阶段是基于编码器-解码器结构的子网络,目的是学习空间上下文的信息;由于图像恢复对位置信息非常敏感,第三个阶段在原始输入图像的分辨率上进行操作,保留位置信息和精细化的信息。在每两个阶段之间都会加入一个SAM有监督的注意力模块,并且提出了一种跨阶段的特征融合机制来融合多尺度的特征。
在第一个阶段将输入图像分成了四个patch进行输入,在第二个阶段分成了两个,在第三个阶段将整个原图作为一个输入。
损失函数
在损失函数中也分为三个阶段,每个阶段的损失函数分为两个部分,一部分是Charbonnier损失,是每个阶段的预测图和GT之间的平方差加上高斯噪声后开根号,另外一部分是边缘的损失,计算如下。
特征提取网络
特征提取网络的前两个是基于U-net编码器-解码器结构,首先,输入图像进来先进入一个卷积层后再进入CABs模块,如下图(b),由n个CAB模块组合成,然后进入U-net,Unet的编码器和解码器之间也是经过CAB模块连接的,最后是通过一个双线性采样和一个卷积层进行输出。
在最后阶段的ORSNet中,没有使用任何的下采样,包含了多个CAB模块组成。
特征融合机制
第一阶段和第二阶段的特征融合如上图(c),第二三阶段融合如图(d),这样设计的优势是没有因为上采样或者下采样而导致特征丢失。
Supervised Attention Module
将第一阶段得到的特征图经过1×1的卷积后通道数变为3,和原图相加得到该阶段恢复的图像,然后经过卷积层和sigmoid激活函数计算注意力特征图,再和特征图进行累加后输入到下一阶段。
实验
去雨
去模糊
降噪
消融实验
总结
总体来说提供了新的思路,网络不应该局限于单阶段,但是个人认为网络融合成单阶段是必然趋势,不管是从运行速度还是模型大小来说,单阶段的网络优势还是非常大。另外,就这篇论文来说,模型设计有点过于复杂了,虽然说避免下采样可以防止丢失信息,但是残差网络不就是为了解决这个问题的吗?不一定非得使用多阶段的方法,有点小题大做,当然这也只是我个人的想法,至少在这篇文章不足以证明多阶段有非常大的优势。但是作为一种新的思路来说也是不错的,另外整个模型设计没有特别有章法,没有给出具体说明,而且图不够清晰,个人认为有点欠缺。