本篇文章是CVPR19年的文章，研究任务是去噪，motivation在于提升模型应用性，做到既不需要干净图像，也不像Noise2Noise那样需要噪声图像对，直接在噪声图像上训练。应用性可以，去噪效果上是不如N2N或完全有监督模型的。
假设
Method部分，在x=s+n即图像=信号+噪声的基础上，作者做出了几个重要假设：
（1）
干净图像的临近pixel是相关的，不独立，比较reasonable。
（2）
给定信号值，噪声是条件独立的。
（3）
第三个假设是仿效的Noise2Noise，假设噪声的mean是0，这样导致对于同一个信号（干净图），多张噪声图的均值即是干净图。这个假设是能进行无监督训练的原因。
一般用来做去噪的网络都是CNN，进一步说是全卷积网络（FCN）。对于FCN来说，预测一个pixel i 的原信号值是通过其周围的若干个pixel进行估计的，这提供信息用于估计的这若干个pixel就是CNN的感受野receptive filed。
方法对比
（1）对于传统方法来做去噪，存在数据对
，从感受野的角度来看就是每个样本对pixel i进行预测时用的数据对是
。
对pixel i预测的话就是：
其中si hat是预测的干净信号；因为有label，优化目标就成了：
作者用传统方法作对照时，L用的MSE即
。
既有噪声图又有干净图的数据集还是比较难获取的，这里让人联想到跟Noise2Noise及不同的另一个思路是有干净图的基础上建模生成噪声图，这样就能完成有label监督训练。文章提到的Image Blind Denoising with Generative Adversarial Network Based Noise Modeling（CVPR18，用GAN加noise）和Deblur方面的先用加模糊算法生成motion blur图像的论文（Unsupervised Domain-Specific Deblurring via Disentangled Representations,CVPR19）都是这个思路。总结一下这个思路的方法适合手里有部分干净图的场景，而Noise2Noise及Noise2Void适合手里只有噪声图的场景。
（2）Noise2Noise
上面说到既有噪声图又有干净图的数据集难以获取，因此N2N用的则是噪声样本对 进行的训练，其中xj与x’j是相同干净样本加不同噪声得到的噪声样本：
如此，使用的‘label’就成了噪声样本，预测一个pixel时还是以感受野形式将其周围pixels即xRF(i)j 作为输入，这样优化目标如下：
虽然表面上从单个样本上看，网络学习的是从感受野噪声pixel到目标噪声pixel的映射，经过大量样本训练网络最终还是会收敛到噪声图->干净图的映射；原因是假设（3）的噪声的均值为0，所以大量噪声图均值为干净图。
（3）Noise2Void
模型在Noise2Noise上进行了一个简单且较合理的改进，如上图（a）到（b）。在predict某一pixel时，感受野不再包含它本身（实现上是将其值替换为感受野中随机一个其他pixel的值），以防训练出的网络在预测时直接输出本身，作者称之为盲点结构。
盲点结构的motivation：既然感受野中不包含pixel i，根据N2N的理论则pixel i可以作为label了（优化目标就成了下图），通过这种方式就实现了单张噪声图就能训练网络，摆脱N2N需要同一干净图对应的两张噪声图才可训练的数据集桎梏。
盲点结构为何work：举例来说，比如我们在预测pixel i的干净信号值si，假设（2）中，我们认为给定了信号，噪声相互独立，因此感受野中不会提供噪声ni的信息，但是根据假设（1）、（3）感受野无疑会提供干净信号值的信息，这样就能估计si的值了。
实验上
作者主要在医学数据集上进行了去噪实验，以证明只需单张噪声图就可训练模型的优越性。上图是几种方法的对比，N2V相对传统深度学习模型和N2N的优越性在于需要更少数据集的同时去噪质量并未下降太多；相对同样只需噪声图的传统模型BM3D，优越性在于去噪速度快数十倍。
讨论总结
总结下来：文章是在Noise2Noise基础上进行的改动，改动程度不大，主要在使用盲点结构使得模型只用单张噪声图即可训练。最大亮点是可用性增强，直接在只有单张噪声图的想去噪的数据集上就能训练。缺陷则有：
（1）由于模型依赖于信号空间上的相关性（假设1），因此当图像不规则，pixel间相关性没有那么强时效果不好。这一点对于传统深度模型和N2N也是一样，但是考虑到他们可参考的信息更多，相比之下N2V在这种情况下效果会更差。
（2）噪声假如不满足假设2，有了相关性，模型就没法分辨噪声和信号了，导致fail。
扫一扫
762
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
