【CVPR2022】All-In-One Image Restoration for Unknown Corruption

参考资料

背景

现有的图像复原方法往往只能处理一种特定退化类型和退化强度的图片，比如在sigma=15的高斯噪声上训练的去噪网络，如果遇到包含sigma=50的噪声图片，或者有雾图片时就很难发挥作用，必须重新训练或者使用其他网络来处理。

与此同时，虽然人类能够很轻易的分辨出某张图片所包含的退化类型，但是对于模型来说还是很困难的，真实场景下退化类型和强度不断变化，就算我们准备了多个不同的模型来应对这一情况，我们也很难自动的选择用哪个模型。

针对这一问题，作者提出了一个all-in-one的网络（AirNet）来解决这一问题。

相关工作

对比学习是一种判别模型，它让相似样本变近，不同样本变远。

对比学习依赖于负样本的数量，来生成好的表示。

方法

这篇文章的方法还是很简单的，主要是借鉴了CVPR 2021的超分重建网络——DASR，简单的说，作者的网络分为两个部分，一个是CBDE用来提取退化特征的encoder，另一个则是DGRN基于这个退化特征来自适应恢复退化图片的backbone。

在Encoder方面，作者采用了基于对比学习的方法来提取特征，其中同一张退化图片中截取出来的patch作为正样本（退化相同），而不同的退化图片中的patch作为负样本（退化不同），通过对比学习的方法学习表示，这样学得的表示就能包含图像的退化信息。

其中稍有不同的是，作者选取的退化表示不是encoder最后一层的输出，而是第一个Resblock的输出，因为这个特征的大小和原图相同，一定程度上保留了空域信息（相对于传统的vector的特征）。

空域信息（Spatial information）指的是图像中像素在空间位置上的分布和排列方式所包含的信息。空域信息包含了图像中每个像素的位置、相邻像素之间的关系以及像素的分布模式。通过分析和利用空域信息，我们可以捕捉到图像中的结构、纹理、形状等视觉特征。

在Decoder方面，作者提出的basic module是一个由DCNv2和SFT组成的模块，DCN的偏移量和掩码、SFT和 和 都是通过在Encoder输出的特征的基础上学来的。

 

 

 

实验

先通过优化 Lcl 进行 100 次迭代来训练 CBDE，再整个训练L 网络 1,400 次迭代。

在实验部分，作者主要基于两个setting做了实验，一个是one-by-one（在某种退化类型上训练，并只在这种退化类型上测试），all-in-one（同时在多种退化类型上训练和测试，也就是本文主要关注的setting），结果如下。可以看出来虽然在one-by-one的setting下，有些数据集上的结果可能没有MPRNet高，但是切换到all-in-one后效果就变的最好了。

除了上面这个，作者还在实验部分试了在训练阶段使用不同的退化类型的组合对结果的影响、spatial variant denoising（同一幅图片不同位置有不同强度的噪声）以及消融，具体的实验结果大家可以参考原文。

尽管 AirNet 在三个图像恢复任务及其组合中实验显示出优越性，但尚不清楚它在其他损坏（如模糊和下雪）方面的表现如何。

此外，还值得进一步探讨为什么 单个任务不同的组合降解会导致不同的结果。

从更广阔的视野来看，尽管 AirNet 可以适应不同的腐败并避免同一算法的多个模型针对不同的退化，但它仍然需要大量资源来优化方法，从而导致碳排放和间接气候变暖。

总结

在本文中，我们提出了一种不受损坏类型和级别先验影响的一体式图像恢复网络 (AirNet)。同时，该方法是一种从不同损坏中恢复图像的一体式解决方案，这对于先验难以预知或退化可能随时间和空间变化的各种实际场景具有竞争力。