A Physics-based Noise Formation Model for Extreme Low-light Raw Denoising 论文阅读笔记

• 相机拍摄更亮的照片的三种方法：大光圈，长曝光，闪光灯；其中大光圈导致小景深并且无法在智能手机中使用；长曝光在动态场景或者由于相机的抖动会导致模糊；闪光灯导致变色，并且只对近景有效；
• 还有一种方法是burst capturing，即短时间拍摄很多张，然后融合多张，但是在动态场景中会导致 ghosting effect；
• 还有一种方法是利用网络学习映射，但这需要大量数据集
• 可以使用合成数据吗，但是需要对噪声进行正确的建模，heteroscedastic gaussian noise model（也就是"Practical Poissonian-Gaussian Noise Modeling and Fitting for Single-Image Raw-Data"文章中提出来的泊松-高斯噪声模型） 对正常光照场景下的噪声能正确建模，但对黑暗情况下的噪声无法正确拟合。如下图，c 是用泊松-高斯模型模拟的训练集训练后的 unet 对 a 进行去噪后的结果，可以看到还有横向条带状噪声没有去除。
• 
• 文章贡献三点，一个是提出了一个新的噪声模型，一个是对该噪声模型的参数提供了计算方法，然后是提出了一个数据集 ELD
• 现有的去噪方法大多是遵从用深度学习来拟合人造数据集的模式，因此当噪声模型与实际噪声模式相差较大时，训练出来的模型不尽如人意。因此要么是采集真实的图像对，要么是提出更接近实际的噪声模型。
• 去噪模型提出历程：先是08年的"Practical Poissonian-Gaussian Noise Modeling and Fitting for Single-Image Raw-Data"， 再是19年的"Enhancing Low Light Videos by Exploring High Sensitivity Camera Noise"，然后是这一篇，相比前面两篇，本文认为前面的简化了现代传感器的成像流程，特别是 camera electronics 导致的噪声

---

• 数码相机得到的 raw image $D$ 总的成像公式是一个线性模型：$$D=KI+N,$$其中$I$是与环境照度成正比的激发态的光电子，$K$是由模拟增益和数字增益导致的总的系统增益，$N$是包括相机和光导致的各种噪声来源的总和。这里要注意，文章研究的是raw data的噪声，也就是还没有经过任何的相机内置的去噪后处理之前的原始信号。
• 模型基于CMOS 传感器进行成像的相机（老数码相机是CCD的，现在数码相机基本都是CMOS了），文章考虑的成像过程包括从入射光到激发出的电子，到电压，到raw data的像素值，这一过程。

从光子到电子

• 冲击到传感器上的光子都能激发出成比例的电子，但由于光子的粒子性，打到传感器上的光子的数量存在着一定的随机性，但期望与光强成正比，这一随机性满足泊松分布的定义，因此可以用下面这一公式建模这一过程：$$(I+N_p)\sim P(I),$$其中$N_p$可以称之为 photon shot noise, $P$表示泊松分布，因此$N_p$与光强$I$有关。
• 其实在这一过程中还有其它类型的噪声，比如 photo response nonuniformity（响应的不均匀性） 和 dark current noise（暗电流噪声，指没有入射光时光电传感器上的残存电流）$N_d$。随着CMOS传感器设计和制造技术的进步如暗电流抑制技术，在新一代单反相机上这两个效应越来越小，因此本文忽视第一个效应，假设响应是均匀的；同时将暗电流噪声$N_d$合并到下一段的$N_{read}$中。

从电子到电压

• 在这一阶段，激发的电子在曝光结束时被收集、集成（integrated）、放大，然后作为可测的电荷或电压被读出。在这一阶段出现的噪声与电路设计和处理技术有关，因此被称为 pixel circuit noise，包括了thermal noise（热噪声）, reset noise, source follower noise（源极跟随噪声，指半导体硅晶格的阱在捕获或放出载流子时的随机性） 和 banding pattern noise（即上面图片中的带状噪声，与COMS电路的输出模式和放大器有关）。
• 为了模拟这一阶段的噪声，首先将暗电流噪声、热噪声和源极跟随噪声的和拟合为一项$N_{read}$：$$N_{read}=N_d+N_t+N_s.$$经过统计，该噪声服从一个均值为0的长尾分布，因此用 Tukey Lambda 分布来拟合：$$N_{read}\sim TL(\lambda ;0,{\sigma }_{TL}),$$
• 然后是带状噪声$N_r$，其实包含纵轴上的和横轴上的，但是竖着的带状噪声可以忽略不计，因此只对横着的带状噪声用0均值高斯分布进行模拟，方差为${\sigma }_r$

从电压到数字

• 由于使用了ADC进行了数模转换，因此存在精度损失，这一损失带来的噪声建模为$N_q$，服从均匀分布：$$N_q\sim U(-1/2q,1/2q),$$其中q是量化步长

---

• 综上，噪声可以被建模为：$$N=K{N}_p+N_{read}+N_r+N_q,$$其中$K$为系统增益。

---

评估噪声参数

未完待续