文章目的
文章中表示去噪过程中会出现问题鸿沟:由于训练图像和测试图像的原图结构和噪声都存在较大差异。有监督的训练用到了大量污染图像和干净图像对作为训练集,不可避免的会遇到上面这个问题。所以提出了一个无监督的训练策略(NAC)
这里提一下Deep Image Prior (DIP)这篇文章,大意就是在训练中期停止训练。因为网络先学图像结构,再学噪声什么的,在没学到噪声的时候停下来,预测的只有图像结构达到降噪的目的。(但是我直观感觉这和结构或噪声没什么关系,只不过谁是主体罢了,因为用的是损失函数平均的关注所有像素,当然主体更容易学习,而噪声是微小的扰动,所以难学习。纯属个人观点,欢迎讨论)
方法
策略如下图所示:
这里X是干净图像,
Y
=
X
+
n
0
Y=X+n_0
Y=X+n0是自然图像,
n
0
n_0
n0是自然噪声,
n
s
n_s
ns是合成的噪声,与
n
0
n_0
n0类似。
训练过程:输入为
Z
=
Y
+
n
s
=
X
+
n
0
+
n
s
Z=Y+n_s=X+n_0+n_s
Z=Y+ns=X+n0+ns,输出为
Y
Y
Y。
预测过程:输入为
Y
Y
Y。
文章中给了数学解释,但是大部分都是约等于、可忽略等字眼。
效果
当噪声足够弱的时候(weak),结果和有监督学习相比有竞争力,甚至有的时候能超过有监督学习。
文章中做了三组实验:1、
n
0
、
n
s
n_0、n_s
n0、ns均已知;2、
n
0
n_0
n0已知,
n
s
n_s
ns未知;3、
n
s
n_s
ns是真实的噪声分布(可以看做泊松分布和高斯分布相加),
n
0
n_0
n0是泊松和高斯噪声相加;
PSNR和SSIM可以和有监督学习相媲美。
文章中有意思的句子
关于自然噪声的组成: The Poisson component mainly comes from the irregular photons hittingthe sensor [25], while Gaussian noise is majorly produced bydark current [28].