Noise2Noise: Learning Image Restoration without Clean Data

前言：

       自监督去噪是指在没有干净样本的情况下对噪声图像本身学习进行去噪。Noise2Noise 是一种机器学习方法，旨在解决图像去噪问题，特别是在缺乏干净数据的情况下。它提出了一种训练策略，仅使用含有不同类型的噪声或损坏的图像对来训练模型，进而学会去除这些噪声或恢复图像质量，相对于传统的依赖于干净数据的传统方法，它的表现甚至还有提升。

论文：https://arxiv.org/pdf/1803.04189

原理：

    此方法应用基本的统计推理来处理信号重构问题，通过机器学习手段将损坏的观测数据映射到干净的信号上。这建立在对观测数据的统计分析之上，利用大量损坏图像的数据集，通过模型学习从噪声中恢复信息。

    从统计学上来看：使用L2损失（均方误差），最优解是所有测量值的算术平均；而L1损失（绝对误差）则导出中位数作为最优解。论文扩展这一概念到图像恢复问题中，指出当输入图像和目标图像都是从损坏分布中抽取的，且这些分布条件于未观察到的干净图像时，理论上，模型可以通过学习来恢复图像。即使没有显式地建模损坏过程的概率分布或者干净图像的先验概率，只要训练数据遵循这些分布，模型就能间接学到这些信息。在许多图像恢复任务中，损坏的输入数据的期望是我们寻求恢复的干净目标。

训练数据：

含有不同噪声水平的图像对

1、多次拍摄同一场景

2、在MRI等医学成像领域，可以通过对相同扫描区域进行不同程度的欠采样来获取图像对。尽管这可能导致图像质量下降，但保留了基本的结构信息。

3、计算机生成图像：如合成的蒙特卡洛渲染图像

4、视频序列帧提取：

验证过程：

1、合成加性高斯噪声

使用含有不同水平噪声的图像对来训练网络。由于噪声的均值为零，使用L2损失进行训练以恢复均值，尽管每个训练示例（含噪图像对）的噪声实例不同，但噪声满足独立同分布的特性，网络能够从这些含噪图像对中学习并区分出图像固有的特征与随机变化的噪声。

结果：

1)在相同的潜在干净图像上看到更多的损坏实现

2)看到更多的潜在干净图像，即使每个图像只有两个损坏的实现，也是有益的。

2、泊松噪声

泊松噪声是照片中主要的噪声源。虽然平均值为零，但由于它依赖于信号，更难去除。使用L2损失，并改变噪声幅度λ 2 。

结果：使用干净目标训练的结果为30.59±0.02 dB，而带噪声目标训练的结果为30.57±0.02 dB，收敛速度相似。

3、乘性伯努利噪声(二项式噪声)

结果：

使用干净目标进行训练的平均值为31.85±0.03 dB，而有噪声目标(输入和目标分别使用m)的平均值略高，为32.02±0.03 dB

结论：

     Noise2Noise的研究提供了新的图像处理技术方法，仅通过观察损坏或含有噪声的图像实例，机器学习模型就能够学会如何恢复图像，且性能表现有时甚至能超越使用干净数据训练得到的结果。在图像复原任务中，我们不再需要明确的图像先验知识或损坏过程的概率模型，直接使用同一场景下噪声对图像即可恢复图像。