论文笔记：Multi-Scale Boosted Dehazing Network with Dense Feature Fusion

最新推荐文章于 2023-03-23 11:52:49 发布

起风了丿

最新推荐文章于 2023-03-23 11:52:49 发布

阅读量3.3k

点赞数 4

文章标签：深度学习 pytorch 人工智能

本文链接：https://blog.csdn.net/qq_46688314/article/details/108978512

版权

摘要

（1）作者提出了一种基于U-Net架构的具有稠密特征融合的多尺度增强除雾网络。

（2）该方法是基于增强（boosting）和误差反馈（error feedback）两个原则设计的，表明它们适用于除雾问题。

（3）通过在作者提出的模型中的解码器中合并“Strengthen-Operate-Subtract”增强策略，作者开发了一种简单而有效的增强解码器（boosting decoder），以逐步恢复无雾图像。

（4）为了解决在U-Net架构中保留空间信息的问题，作者使用反投影反馈方案设计了一个稠密特征融合模块（dense feature fusion）。稠密特征融合模块可以同时纠正高分辨率特征中缺失的空间信息，并利用不相邻的特征。（此反投影反馈方案最开始也是在超分方面使用）。

论文代码地址

1. Introduction

（1）The boosting strategy最开始被用于图像去噪所设计的，其方法是逐步完善前一次迭代的中间结果。The boosting strategy可以促进图像去雾任务。

（2）The error feedback mechanism（特别是反投影反回馈机制），其方法是实现超分辨率，以逐步恢复退化过程中遗漏的细节。

考虑到这两个原理，作者提出了一种基于U-Net 架构的具有稠密特征融合（Dense Feature Fusion，DFF）的多级增强除雾网络（MSBDN）。作者将网络的decoder解释为图像恢复模块，并且在解码器中合并“Strengthen-Operate-Subtract”增强策略，称作增强解码器（boosting decoder），以逐步恢复无雾图像。
由于U-Net的编码器中的下采样操作，可能无法从U-Net的解码器有效地检索空间信息压缩。为了解决这个问题，作者提出了一种基于反投影技术（back-projection）的DFF模块，以有效融合不同层次的特征。 该模块可以同时保留高分辨率特征的空间信息，并利用非相邻特征进行图像去雾。

2. Related Work

2.1 Image dehazing

2.2 Boosting algorithms for image restoration

之前许多用于图像去噪的增强方法，以通过馈入增强的先前估计作为输入来逐步完善结果，同时将增强策略（Boosting strategy）与深度CNN结合在一起用于目标分类和图像去噪。在本文证明了增强策略也可以应用于图像去雾，并将其纳入网络设计中以完成去雾任务。

2.3 Multi-scale feature fusion

通过利用来自不同层的特征，特征融合已广泛用于网络设计以提高性能。许多图像恢复方法通过使用稠密连接（dense connection），特征级联（feature concatenation）或加权元素求和（weighted element-wise summation） 来融合特征。
大多数现有的特征融合模块都重复使用与先前层相同规模的特征。可以使用步长卷积层（strided convolutional layer）投影和连接了不同尺度的特征。尽管这些方法可以合并来自不同层的多个特征，但是级联方案（concatention）对于提取有用信息并不有效。
为了在相邻层之间共享信息，通过将（来自相邻层的特征）与（卷积和反卷积层）互连提出了网格体系结构。 最近，刘等人提出了一种有效的端到端可训练网格网络进行图像去雾。但是，这些方法并未明确地利用非相邻级别的功能，因此无法轻松地应用于其他体系结构。有人开发了一种用于投影误差的深层反馈机制，以合并两个级别的特征。
与上述方法不同，作者设计了DFF模块，该模块有效融合了多个尺度的特征。

3. Proposed Method

3.1. Multi-Scale Boosted Dehazing Network

作者设计的网络基于U-Net 体系结构，作者根据SOS boosting方法设计了一种多尺度提升解码器，如图一所示：
在这里插入图片描述

图一图一显示的是带有DFF模块的建议MSBDN的体系结构。 Skip connection用于将相应的特征图从编码器模块引入增强型解码器模块。

该网络包括三个组件：编码器模块 $G_{Enc}$ ，增强型解码器模块 $G_{Dec}$ 和功能恢复模块 $G_{Res}$ 。

3.1.1 Boosting in image dehazing.

增强算法已被证明对图像去噪有效。Strengthen-Operate-Subtract（SOS）增强算法根据先前估计的图像对增强图像进行细化处理。该算法已被证明可以提高信噪比（SNR），这是基于在相同场景的图像上SNR方面降噪方法获得更好结果而噪声却更少的噪声。
对于图像去雾，SOS增强策略可以类似于：
在这里插入图片描述
其中 $J^n$ 表示在第n次迭代时的估计图像， $g (\cdot)$ 是除雾方法，而 $I + J^n$ 表示使用模糊输入 $I$ 的增强图像。我们证明了增强方法可以从以下方面促进图像除雾性能：阴霾部分（ $P o H$ ）与去噪的公理相似。这里，将图像J的雾度的部分定义为 $P o H (J) ＝ (1 - T) A / J$ ，并且对于同一场景的雾度图像，其与 $1 - T$ 成比例。

公理1.除雾方法g在相同场景的图像上就PoH而言获得更好的结果，但雾度较小。也就是说，如果J1和J2是同一场景的图像，并且 $P o H (J 1) < P o H (J 2)$ ，则 $P o H (g (J 1)) < P o H (g (J 2))$ 。

3.1.2 Deep boosted dehazing network.

在用于除雾的U-Net网络中，作者将解

最低0.47元/天解锁文章