【CVPR23 论文解读】Masked Image Training for Generalizable Deep Image Denoising

当前深度去噪网络存在泛化能力差的情况，例如，当训练集噪声类型和测试集噪声类型不一致时，模型的性能会大打折扣。作者认为其原因在于网络倾向于过度拟合训练噪声，而没有学习图像自身的内在结构。为了解决这个问题,作者提出了一种遮盖图像训练的策略（masked image training）。其核心思想是在训练过程中对输入图像进行大比例的随机遮盖,迫使网络学习重构被遮盖的内容,增强对图像本身分布的建模能力,从而对未见过的噪声类型也有好的去噪效果。

• 论文链接：https://arxiv.org/abs/2303.13132
• 代码链接：https://github.com/haoyuc/MaskedDenoising

图像去噪中的泛化性问题

但是,现有的深度学习去噪方法存在一个关键问题——泛化能力差。大多数方法都是在高斯噪声上训练和测试的。当遇到训练过程中未见过的噪声时,这些方法的效果会急剧下降。因为深度网络很容易过拟合训练数据,普通的学习方式使得网络仅仅学会如何去除高斯噪声,未学会图像的内在结构。

文章 Figure 1 主要说明了当前深度学习去噪模型的泛化问题:
当我们使用高斯噪声(σ=15)训练SwinIR模型，在同样的高斯噪声(σ=15)测试时,SwinIR可以很好去除噪声,效果优秀。