论文笔记:Multi-Scale Boosted Dehazing Network with Dense Feature Fusion

摘要

(1)作者提出了一种基于U-Net架构的具有稠密特征融合的多尺度增强除雾网络。
(2)该方法是基于增强(boosting)和误差反馈(error feedback)两个原则设计的,表明它们适用于除雾问题。
(3) 通过在作者提出的模型中的解码器中合并“Strengthen-Operate-Subtract”增强策略,作者开发了一种简单而有效的增强解码器(boosting decoder),以逐步恢复无雾图像。
(4)为了解决在U-Net架构中保留空间信息的问题,作者使用反投影反馈方案设计了一个稠密特征融合模块(dense feature fusion)。稠密特征融合模块可以同时纠正高分辨率特征中缺失的空间信息,并利用不相邻的特征。(此反投影反馈方案最开始也是在超分方面使用)。

论文代码地址

1. Introduction

(1)The boosting strategy最开始被用于图像去噪所设计的,其方法是逐步完善前一次迭代的中间结果。The boosting strategy可以促进图像去雾任务。
(2)The error feedback mechanism(特别是反投影反回馈机制),其方法是实现超分辨率,以逐步恢复退化过程中遗漏的细节。
  • 考虑到这两个原理,作者提出了一种基于U-Net 架构的具有稠密特征融合(Dense Feature Fusion,DFF)的多级增强除雾网络(MSBDN)。 作者将网络的decoder解释为图像恢复模块,并且在解码器中合并“Strengthen-Operate-Subtract”增强策略,称作增强解码器(boosting decoder),以逐步恢复无雾图像。
  • 由于U-Net的编码器中的下采样操作,可能无法从U-Net的解码器有效地检索空间信息压缩。 为了解决这个问题,作者提出了一种基于反投影技术(back-projection)的DFF模块,以有效融合不同层次的特征。 该模块可以同时保留高分辨率特征的空间信息,并利用非相邻特征进行图像去雾。

2. Related Work

2.1 Image dehazing
2.2 Boosting algorithms for image restoration

之前许多用于图像去噪的增强方法,以通过馈入增强的先前估计作为输入来逐步完善结果,同时将增强策略(Boosting strategy)与深度CNN结合在一起用于目标分类和图像去噪。 在本文证明了增强策略也可以应用于图像去雾,并将其纳入网络设计中以完成去雾任务。

2.3 Multi-scale feature fusion
  • 通过利用来自不同层的特征,特征融合已广泛用于网络设计以提高性能。 许多图像恢复方法通过使用稠密连接(dense connection),特征级联(feature concatenation)或加权元素求和(weighted element-wise summation) 来融合特征。
  • 大多数现有的特征融合模块都重复使用与先前层相同规模的特征。 可以使用步长卷积层(strided convolutional layer)投影和连接了不同尺度的特征。 尽管这些方法可以合并来自不同层的多个特征,但是级联方案(concatention)对于提取有用信息并不有效。
  • 为了在相邻层之间共享信息,通过将(来自相邻层的特征)与(卷积和反卷积层)互连提出了网格体系结构。 最近,刘等人提出了一种有效的端到端可训练网格网络进行图像去雾。 但是,这些方法并未明确地利用非相邻级别的功能,因此无法轻松地应用于其他体系结构。有人 开发了一种用于投影误差的深层反馈机制,以合并两个级别的特征。
  • 与上述方法不同,作者设计了DFF模块,该模块有效融合了多个尺度的特征。

3. Proposed Method

3.1. Multi-Scale Boosted Dehazing Network

作者设计的网络基于U-Net 体系结构,作者根据SOS boosting方法设计了一种多尺度提升解码器,如图一所示:
在这里插入图片描述

图一
图一显示的是带有DFF模块的建议MSBDN的体系结构。 Skip connection用于将相应的特征图从编码器模块引入增强型解码器模块。
  • 该网络包括三个组件:编码器模块 G E n c G_{Enc} GEnc,增强型解码器模块 G D e c G_{Dec} GDec和功能恢复模块 G R e s G_{Res} GRes
3.1.1 Boosting in image dehazing.

增强算法已被证明对图像去噪有效。Strengthen-Operate-Subtract(SOS)增强算法根据先前估计的图像对增强图像进行细化处理。 该算法已被证明可以提高信噪比(SNR),这是基于在相同场景的图像上SNR方面降噪方法获得更好结果而噪声却更少的噪声。
对于图像去雾,SOS增强策略可以类似于:
在这里插入图片描述
其中 J n J^n Jn表示在第n次迭代时的估计图像, g ( ⋅ ) g(·) g()是除雾方法,而 I + J n I + J^n I+Jn表示使用模糊输入 I I I的增强图像。我们证明了增强方法可以从以下方面促进图像除雾性能: 阴霾部分( P o H PoH PoH)与去噪的公理相似。 这里,将图像J的雾度的部分定义为 P o H ( J ) = ( 1 − T ) A / J P oH(J)=(1-T)A / J PoH(J)(1T)A/J,并且对于同一场景的雾度图像,其与 1 − T 1-T 1T成比例。

公理1.除雾方法g在相同场景的图像上就PoH而言获得更好的结果,但雾度较小。也就是说,如果J1和J2是同一场景的图像,并且 P o H ( J 1 ) < P o H ( J 2 ) P oH(J1)<P oH(J2) PoH(J1)<PoH(J2),则 P o H ( g ( J 1 ) ) < P o H ( g ( J 2 ) ) P oH(g(J1))<P oH(g(J2)) PoH(g(J1))<PoH(g(J2))
3.1.2 Deep boosted dehazing network.
  • 在用于除雾的U-Net网络中,作者将解
  • 4
    点赞
  • 39
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值