GridDehazeNet

  1. 摘要

我们提出了一种端到端可训练的卷积神经网络(CNN),用于单图像去噪。GridDehazeNet由三个模块组成:预处理、骨干和后处理。与手工选择的预处理方法生成的衍生输入相比,可训练的预处理模块可以生成具有更好多样性和更相关特征的学习输入。在编解码网络或传统的多尺度网络中,由于分层结构,信息流常常受到瓶颈效应的影响,骨干模块在网格网络上通过上采样、下采样块进行密集链接实现了一种新的基于注意的多尺度估计,可以有效地缓解传统多尺度方法中经常遇到的瓶颈问题。后处理模块有助于减少最终输出中的伪影。实验结果表明,GridDehazeNet在合成图像和真实图像上都优于现有技术。主要有三个贡献:(1)该方法不依赖于大气散射模型;(2)预处理模型是可以训练的,相比于人工选择的方法更具有灵活性;(3)基于注意力机制的多尺度网络可以较好的估计模型中的参数,该网络可以高效的交换不同尺度的信息,从而有效缓解多尺度估计的瓶颈问题。

  1. GridDehazeNet

2.1网络体系结构

  GridDehazeNet由三个模块组成,即预处理模块、骨干模块和后处理模块。图1为所提出网络的总体架构。预处理模块由卷积层和残差密集块(RDB)组成。它从给定的模糊图像中生成16个特征图,这些特征图将被称为学习输入。

 

图1 GridDehazeNet架构

骨干模块是最初提出用于语义分割的GridNet的一个增强版本。它根据预处理模块生成的学习输入进行基于注意的多尺度估计。在本文中,我们选择了三行六列的网格网络。每行对应不同的比例,由5个RDB块组成,这些RDB块保持特征映射的数量不变。每一列都可以被视为通过上采样/下采样块连接不同尺度的桥梁。在每个上采样(下采样)块中,特征映射的大小减少(增加)2倍。这里的上采样/下采样是使用卷积层来实现的,而不是传统的方法,如双线性或双三次插值。图2给出了RDB块、上采样块和下采样块的详细说明。每个RDB块由5个卷积层组成:前4层用于增加特征映射的数量,而最后一层融合这些特征映射,然后它的输出与这个RDB块的输入通过通道相加。上采样块和下采样块在结构上是相同的,除了使用不同的卷积层来调整特征地图的大小。在GridDehazeNet中,除了每个RDB块中的预处理模块1×1convolutional层中的第一卷积层外,所有卷积层都使用ReLU作为激活函数。

直接由骨干模块输出构造的去雾图像往往包含伪影。为此,我们引入了后处理模块来提高去雾图像的质量。后处理模块的结构与预处理模块的结构是对称的。

 

图2

2.2基于通道注意的特征融合

注意到整体框架中,许多地方将水平块的输出和竖直块的输出进行融合,即图中红色圆圈圈住A的地方。此处即为通道注意力的特征融合。融合机制可以定义如下:

 

2.3损失函数

  损失函数包括两部分:平滑L 1损失和感知损失。

  平滑L1损失提供了去雾图像和地面真实情况之间的差异的定量度量,它对异常值的敏感度低于MSE loss,因为L1损失可以防止潜在的梯度爆炸。平滑L1Loss:让ˆJi(x)表示去雾图像中的第一个颜色通道的强度,n表示像素总数。平滑L1损失定义为:

 

​​​​​​​

 

  感知损失利用从预训练的深度神经网络提取的多尺度特征来量化估计图像和地面真实之间的视觉差异。本文用的是在ImageNet上预训练的VGG-16模型,从前三个阶段(即Conv1-2, Conv2-2,Conv3-3)的每个阶段的最后一层提取特征。感知损失定义为:

 

其中ϕjjj=123,为去雾结果相关联的三个VGG-16的特征图,CjHjw为特征图的尺寸。

总的损失函数为: L=Ls+λLP

其中λ是调节两个损失分量相对权重的参数。本文将λ设为0.04。

3.实验结果

 

4.结论

我们提出了一种名为GridDehazeNet的端到端可训练CNN,并展示了其对单图像去雾方面的竞争性能。所提出的GridDehazeNet预计将适用于各种图像恢复问题。我们的工作也揭示了大气散射模型在图像去雾中的困惑现象,并提出了在图像恢复算法设计中需要重新考虑物理模型的作用。

  • 0
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值