Depth Information Assisted Collaborative Mutual Promotion Network for SingleImage Dehazing

原文链接：https://www.semanticscholar.org/paper/Depth-Information-Assisted-Collaborative-Mutual-for-Zhang-Zhou/55e322bb5a18bd14d83d62617880dbfd52055fa8https://www.semanticscholar.org/paper/Depth-Information-Assisted-Collaborative-Mutual-for-Zhang-Zhou/55e322bb5a18bd14d83d62617880dbfd52055fa8

深度信息辅助的协同互促网络单图像去雾

摘要

        从单幅模糊图像中恢复清晰图像是一个开放的逆问题.虽然已有的研究取得了显著的进展，但大多数方法忽略了下游任务对上游去雾的促进作用.从模糊生成机理的角度来看，场景的深度信息与模糊图像之间存在着潜在的联系.基于此，该框架通过双任务交互机制将深度估计和去雾任务有机地结合起来，实现了二者性能的相互增强，提出了一种具有差异感知的可替换实现机制，提出了去雾结果深度图与理想图像深度图之间的差异感知，以促使去雾网络关注图像的非模糊性另一方面，通过改善模糊图像中难以恢复区域的深度估计性能，去雾网络可以显式地利用模糊图像的深度信息来辅助恢复清晰图像，为提高深度估计性能，提出了利用去雾图像与真实地面的差异来引导深度估计网络聚焦于去雾的非理想区域，使去雾和深度估计以相互增强的方式发挥各自的优势.实验结果表明，该方法能够有效地去除图像中的雾，并能有效地提高深度估计的精度.所提出的方法可以获得比现有技术更好的性能。源代码发布在https://github.com/zhoushen1/DIACMPN。

1.介绍

        单图像去雾是指从给定的模糊图像恢复清晰的图像，该技术由于在下游计算机视觉中的关键作用而引起广泛关注，在数学上，雾化过程通常通过采用大气散射模型来模拟[24，26，27]：

其中，x表示像素位置，I（x）表示模糊图像，J（x）表示清晰图像，T（x）表示透射图，A（x）表示大气光。

其中β是散射系数，d（x）是场景深度。

        从公式（1）中，我们可以看到，基于大气散射模型的图像去雾方法需要估计T（x）和A（x）。然而，大多数研究声称T（x）主要有助于在图像内产生雾。因此，大多数现有的基于公式（1）的方法集中于估计透射图T（x）。对于A（x），最大像素值被视为其值[38]。实际上，图像中的最大像素值可能源自最亮的物体，而不是表示大气光。为了解决这个问题，[2，16，36]中的方法考虑了T（x）和A（X），实现去雾性能的改善。然而，这种基于大气散射模型的去雾方法对T（x）和A（x）的依赖性很强，现实中雾度分布的不均匀性给图像局部区域T（x）的准确估计带来了挑战，限制了去雾性能的提高。

        端到端图像去雾方法直接从模糊图像恢复清晰图像，而无需大气散射模型的帮助[6，8，21，29，43]，从而摆脱了对T（x）和A（x）的依赖。然而，缺乏大气散射模型的指导也对恢复清晰图像提出了挑战。为了解决这个问题，提出了基于先验信息的图像去雾[1，4，23，44]。具体来说，PSD [4]建立了一个由暗通道先验[10]组成的损失委员会，明亮通道先验[49]和直方图均衡化来指导清晰图像的恢复。NHFormer [23]使用暗通道先验和亮通道先验来指导去雾模型从合成域到真实世界应用的推广。RIDCP [44]通过预处理获得高质量的码本先验，训练的VQGAN，并利用它们进行可控的高质量先验匹配，从而实现模糊图像的高质量特征恢复。此外，通过两级网络结构设计，MITNet [33]同时实现了时域和频域特征的联合恢复，实现了幅度和相位谱的恢复，确保去雾图像的质量。

        上述方法虽然有效，但都忽略了模糊图像的深度信息与其本身的相关性，根据公