【AAAI 2022】Close the Loop: A Unified Bottom-Up and Top-Down Paradigm for Joint Image Deraining..译读笔记

songyuc

已于 2023-02-23 17:39:59 修改

阅读量184

点赞数

文章标签：去雨

于 2023-02-16 20:20:37 首次发布

本文链接：https://blog.csdn.net/songyuc/article/details/129068809

版权

Close the Loop: A Unified Bottom-Up and Top-Down Paradigm for Joint Image Deraining and Segmentation

摘要

本文关注于一个非常实际的问题：雨天条件下的图像分割。图像去雨是一个经典的low-level恢复任务，而图像分割是一个典型的high-level理解任务。大多数现有的方法直观地采用了自底向上的模式，将去噪作为后续分割的预处理步骤。然而，本文的统计分析表明，不仅去雨有利于分割（自下而上），而且分割也会进一步提高去雨的性能（自上而下）。这提示我们在可在一个全新的自下而上和自上而下的统一范式中解决雨天图像分割的任务，其中两个子任务交替进行并互相协作。具体而言，自下而上的过程会从图像域和特征域中产生更清晰的图像和抗雨干扰的特征，以减轻雨条纹引起的分割模糊。自顶向下的过程使用语义信息来自适应地引导不同内容地恢复，其中语义信息来自新颖地多路径分割注意力模块（Semantic Attentive Module, SAM）。因此，去雨和分割可以彼此协同地、逐步地提升性能。大量消融实验表明，所提出地方法在雨天图像分割方面优于现有方法。

引言

近些年来，图像去雨（Fu_et_al_2020_LPNet_Derain; Deng_et_al_2020_DRDNet_Derain）和图像分割（Zhang_et_al_2018_EncNet_Seg; Yang_et_al_2018_DenseASPP_Seg）都取得了巨大进展。前者是一个经典的低层次恢复任务，而后者是一个典型的高层次理解任务。以前大多数方法都专注于一项任务，并分开考虑这两项任务。然而，很少有工作会考虑到实际场景的问题：雨天情况下的图像分割。
为了解决这个问题，本文对图像退化和分割之间的关系进行了初步研究。一方面，许多工作分析了各种退化及消除退化对high-level分割的影响（Sakaridis_Dai_and_Van_Gool_2018_SFSU_Synthetic; Pei_et_al_2021_Image_Degradations）。例如，Kamann等人（Kamann_and_Rother_2020_Benchmark_Robustness_Segmentation）曾得出了一个结论，即分割模型对图像噪声/模糊有很好的泛化能力，但对天气污染则不具备泛化能力。另一方面，前沿工作引入了high-level任务来评估low-level恢复任务。例如，使用检测（Li_et_al_2019_Rain_Image_Restoration）和识别（Rosaura_and_Scheirer_et_al_2020）来评估去雨的性能。
因此，现有的雨天图像分割方法主要可分为三类：面向分割的自下而上方法、面向恢复的自上而下方法和多任务并行方法。自底向上方法的关键思想是首先消除退化的负面影响，从而提高后续分割的特征辨别能力。退化消除过程可以显式地在图像域（Sharma_et_al_2018_Classification_Driven_Enhancement; Porav_Bruls_and_Newman_2019_Image_Restoration_DeRain; Guo_et_al_2020_Single Image Derain_Segmentation; Liu_et_al_2020_Connecting_Denoising_and_High_Level ）中进行【图2a】或者隐式地在特征域进行（Valada_et_al_2017_AdapNet; Sakaridis_Dai_and_Van_Gool_2020_MGCDA; Dai_et_al_2020_CMAda）【图2b】。
在这里插入图片描述
相对而言，top-down方法的主要目标是通过高层语义引导提供充分的结构化先验信息，来提高图像恢复的性能（Hu_et_al_2019_DAFNet; Ren_et_al_2018_VDHNet; Zhang_et_al_2021_DDMSNet）【图2c】。最后一种多任务并行方法能够通过共享学习机制，来联合进行雨水消除和场景理解（Zhang_et_al_2020_PRRNet）【图2d】。
之前的大多数方法或是遵循自下而上的范式，或只是对去雨或分割的单向促进。这些工作（Valada_et_al_2017_AdapNet; Zhang_et_al_2020_PRRNet; Guo_et_al_2020_Single Image Derain_Segmentation）很少注意一个简单但重要的问题，即低层次恢复和高层次分割可以相互促进并紧密耦合。本文首先分析了雨水如何影响分割，并发现较小的退化会有较少的语义模糊，从而获得更好的分割效果。然后。本文分析了语义信息如何影响退化，并证明了显式语义先验促进图像恢复中中发挥了重要作用。受到这些启发，本文提出了统一的、bidirectional协作网络（UBCN）【图2e】，在统一的、bidirectional bottom-up and top-down 的框架中，弥合 low-level 去雨和 high-level 分割之间的差距。
在这里插入图片描述
具体来说，对于自底向上的流，本文提出从图像和特征层面来消除雨水效应的负面影响，而不是仅使用单一视角，其中，将图像层面的去噪模块和特征层面的域自适应模块都设计用于鲁棒的雨天分割。