大疆的raw图噪声合成：Towards General Low-Light Raw Noise Synthesis and Modeling

Towards General Low-Light Raw Noise Synthesis and Modeling

1 dd

作者说极暗场景下 物理方法仿真不好。
作者提出的方法，对于信号相关的噪声 使用物理方法建模， 泊松噪声。
在低光条件下，与信号无关的噪声是主要成分。由于信号无关组件中的噪声源非常复杂，并且随着不同的曝光时间、ISO水平和相机传感器的变化而显著变化。没有采用基于物理的方法来建模与信号无关的噪声，而是利用生成对抗网络（GAN）强大的学习能力来建模它

2 信号相关噪声建模

简单说下其思路吧。
信号相关泊松噪声采用物理建模的方法 或者 采样的方法（ Rethinking noise synthesis and modeling in raw那篇论文）

3 信号无关噪声：生成器和一致性损失（L1和 vgg 内容损失）

信号无关噪声采用生成的方法，一个GAN：
这个gan有自己的特点：
首先一个generator 生成 N_indep, 与 N_dep相加后得到噪声图， 如何让得到的噪声图与 真实噪声图比较接近呢？一般情况下 L1或者 vgg的内容损失， 但是噪声图的值是随机的，与真实噪声图不会完全一致，这里加了一个 pretrained denoise net作为特征提取器，提取后得到2个降噪图像，降噪后的图像会比较稳定，计算这两个降噪图像的L1 和 vgg的内容损失。

这里我有一个疑问，如果不使用pretrained denoise net, 使用一个 中值滤波，引导滤波或者其他低通滤波器替换是否也可以，减少计算量，也许极暗场景噪声太大，一般滤波器还不一定行。

4 判别器

另外判别器这里作者为了更好的区分噪声强度，构建了一个基于FFT的判别器，能够更好的处理不同level的噪声图。
损失函数同gan: 生成器 一个 ganloss, 判别器两个 gan loss(因为输入2个图，gt noisy im和 generate noisy im)

这里也有一个疑问，不使用58那篇sanple的方式建模噪声。信号相关和信号无关噪声都是用 gan表现如何？

5 总结

这是关于raw noise model的最新一篇论文，结合了物理建模和深度学习，创新点吧也是有一些的，当然作者也提到可能对于特别暗的场景可能效果好一些，如果sidd数据集其实 P-G噪声模型也许就够好了，实际使用的适合我主要是基于PG，以及sampling建模的方法，标定噪声和制作数据集。

这一系列论文是不断对raw noise model的建模方法改进，来生成噪声数据，效果是可以的。
当然如果直接使用 n2n, nb2nb等无监督方法降噪也是可以的。

建模越准，训练的model效果就会越好吗？感觉未必，相反也有一定可能损害model的泛化能力。
之前试验过几种方法

1. pg
2. led
3. rethinking noise (sampling)
4. n2n
5. 不标定，采用随机的 lamda(possiong noise level para)和 sigma(gauss noise level para)

这些方法应用在实际图像上效果不会差别太多。当然也可能我实际制作的数据集本身比较糙，达不到公开数据集gt那种效果。
暂时不做这个方向了，用到再细看吧。