去噪论文阅读（二）：Noise2Void

不自律的小邓

于 2024-06-15 15:00:00 发布

阅读量697

点赞数 19

文章标签：论文阅读人工智能深度学习

本文链接：https://blog.csdn.net/Chaleen/article/details/139625108

版权

引言：

上一期阅读了自监督论文Noise2Noise，Noise2Noise采用在同一场景下获得的两张带噪图像让网络强行学习从一个带噪图片到另一个带噪图片的映射，但在很多应用场合中，同一场景的不同噪声图像仍很难获取，那怎么样才能只用一张含噪图片就能去噪呢？Noise2Void就提出了一种方法：使用单张带噪图片让网络学习一个点周围所有的点到该点的映射，以此达到去噪。

理论方法：

n2v需要服从以下假设：

1.噪声图像有信号和噪声构成 $x = s + n$

2.噪声图可以看为一个联合概率（p(s)为任意分布） $p(s, n) = p(s)p(n|s)$

3.不同位置的信号像素不相互独立 $p(s_{i}|s_{j})\neq p(s_{i})$

4.不同位置的噪声像素相互独立 $p(n|s) = \prod_{i}^{}p(n_{i}|s_{i})$

5.噪声均值为零，图像信号均值解决真实信号 $E[n_{i}] = 0, E[x_{i}] = s_{i}$

从loss最小化的角度来看，网络会倾向于输出一个该点所有可能值的均值。信号点之间是连续的，而噪声点是非连续的，所以网络预测出来的均值是信号而非噪声。

一句话总结：让网络学习一个点周围所有点到该点的映射。

实现方法：

传统网络对单个像素的预测取决于中心处的输入像素，因为中心像素包含信息最多。Noise2Void为了避免这种恒等映射，将中心像素mask，由周围像素去学习中心像素的值。

在训练过程中，并不是直接将小patch中心块直接置0，而是从中心块的邻近块中随机抽取一块，覆盖中心块的值。

思考：

优点：只需要一张含噪图片即可训练网络，实用性大大提升。采用盲点网络学习到的不是传统网络学习到的恒等映射，使网络真正的“学”到了信息。
缺点：盲点网络Mask位置信息缺失，Mask的是正中心的像素点，损失的信息会不会太大，使得效果降低。和n2n一样需要满足太多前提假设，任然具有一定的局限性。

创新点：

n2v网络只Mask掉了一个Patch中心点的像素，那么是否可以不断的Mask，减少输入网络信息，加大网络学习难度，迫使网络学习更多的信息，使得网络的泛化性以及去噪能力都能得到提升。

实验方案：盲点网络不再只Mask一个像素点，而是按照比例，进行随机Mask，替换像素方案任然是随机邻域像素替换，具体的替换比例参考实验结果。

实验结果：

将单盲点网络（BSN）与多盲点网络（MBSN）不同Mask比例的结果进行对比：

对为什么Mask比例为0.1时的思考：当Mask比例不断扩大到大于0.1时，丢失的信息不断增加，留下的信息已经不如比例为0.1时的多，网络所能提取的信息也就变少，最后的性能也自然比比例为0.1时小。当然其中也会有一些随机性，因为该方法使用的是随机替换，以及随机选择替换像素。

多盲点网络相较于单盲点网络在去噪性能上的小幅提升可能是因为它能够更好地捕捉到数据中的复杂模式和特征。而在泛化性能上的显著提升可能是由于多盲点网络具有更强的泛化能力，能够更好地适应不同类型的数据输入。

从可视化结果中观察到的细节处理上的优越性和对纹理的更好处理可能是由于多盲点网络在学习过程中能够更好地利用数据之间的相关性和局部信息，从而更好地捕捉到图像中的细微特征和结构。这些特点使得多盲点网络在处理图像时能够更加准确和有效地保留和重建细节信息，从而提高了模型的整体性能。

总结：

总的来说，N2V确实是一种真正的自监督学习方法，它通过仅使用单张含噪图片就可以进行去噪任务，这对于数据获取和标记成本来说是非常高效的。而且，由于N2V采用了对抗性的训练策略，它可以避免模型学习到训练集的恒等映射，从而提高了去噪任务的效果。
多盲点网络作为一种改进的网络结构，通过增加了盲点数量来增强BSN网络的去噪能力和泛化能力。这种方法的优势在于它能够更好地捕捉到数据中的复杂模式和特征，从而提高了模型的性能，但是需要对其盲点数量进行合理约束才能获得理想效果。