paper - A Physics-based Noise Formation Model for Extreme Low-light Raw Denoising

这篇文章的英语让人读不懂，但是可以用机翻转成非常容易懂的中文。
这个链接是一篇精简的总结，https://blog.csdn.net/matrix_space/article/details/107396677

3. Physics-based Noise Formation Model

数字传感器原始图像D的创建通常可以通过线性模型来表示
D = KI + N,（1）
其中I是与场景照射成比例的光电子数量，K表示由模拟和数字增益组成的整体系统增益，N表示由光或照相机物理造成的所有噪声源的总和。我们专注于在极端弱光条件下的单个原始图像降噪问题。在这种情况下，N的特性在传感器物理过程方面的格式超出了现有的噪声模型。由于没有针对此类噪声分布的解析求解器，因此无法找到解决此类噪声的最佳正则化器。因此，我们依靠基于学习的神经网络管道来隐式地从数据中学习规律性。为此任务创建训练样本需要仔细考虑原始传感器数据的特征。在下文中，我们首先描述传感器原始图像的物理形成的详细过程，以及在整个过程中引入的噪声源。此过程的概述如图2所示。

3.1. Sensor Raw Image Formation

我们的光电传感器模型主要基于CMOS传感器，它是当今的主要成像传感器[50]。 我们考虑了电子成像pipline，如何将入射光从光子转换为电子，如何从电子转换为电压以及最终如何从电压转换为数字以建模噪声。

从光子到电子。 在曝光过程中，光子形式的入射光撞击光电传感器像素区域，从而释放出与光强度成比例的光子生成电子（光电子）。 由于光的量子性质，收集到的电子数量不可避免地存在不确定性。 这种不确定性会在此数量的电子上产生泊松分布，因此
(I + Np) ∼ P (I) （2）
其中Np称为光子散粒噪声，P表示泊松分布。 这种类型的噪声取决于光强度，即取决于信号。 散粒噪声是一个基本限制，即使对于完美的传感器也无法避免。 在光子-电子阶段还引入了其他噪声源，例如光响应非均匀性和暗电流噪声，这是许多先前文献[29、25、58、3]所报道的。 在过去的十年中，CMOS传感器设计和制造的技术进步（例如，传感器上的暗电流抑制）导致了新一代数字单镜头反射（DSLR）相机具有更低的暗电流和更好的光响应均匀性[23]。 ，41]。 因此，我们假设光响应恒定，并将暗电流噪声Nd的影响吸收到读取噪声Nread中，这将在下面介绍。

从电子到电压。 在每个位置收集电子后，通常将它们积分，放大并在曝光时间结束时读出为可测量的电荷或电压。 电子到电压阶段存在的噪声取决于所使用的电路设计和处理技术，因此被称为像素电路噪声[25]。 它包括热噪声，复位噪声[36]，源跟随器噪声[39]和条带模式噪声[25]。 这些噪声成分的物理起源可以在电子成像文献中找到[36、25、58、39]。 例如，源极跟随器噪声归因于硅晶格中陷阱的作用，陷阱随机捕获并发射载流子。 带模式噪声与CMOS电路读出模式和放大器有关。

利用这些知识，我们在模型中考虑了热噪声Nt，源跟随器噪声Ns和带状噪声Nb。 Nb的噪声模型将在后面介绍。 在这里，我们将多个噪声源吸收为一个统一的术语，即读取噪声
Nread = Nd + Nt + Ns.（3）
可以假定读取噪声遵循高斯分布，但是对噪声数据的分析（在第3.2节中）说明了其形状的长尾性质。 这可以归因于源极跟随器噪声的闪烁和随机电报信号分量[25]，或暗电流引起的暗尖峰[36]。 因此，我们建议使用可以更好地表征长尾形状的统计分布。 具体来说，我们通过Tukey lambda分布（TL）[34]对读取的噪声进行建模，这是一个分布族，可以近似许多常见分布（例如，重尾柯西分布）：
Nread ∼ T L (λ; 0, σT L) ,（4）
其中λ和σ分别表示形状和比例参数，而给定零均值噪声假设，则将位置参数设置为零。

带状噪声Nb在图像中显示为水平或垂直线。 我们仅考虑模型中的行噪声分量（水平条纹），因为在测量噪声数据时，列噪声分量（垂直条纹）通常可以忽略不计（第3.2节）。 我们通过使用比例参数σr从零均值高斯分布中采样一个值，然后将其作为偏移量添加到单个行中的整个像素，来模拟行噪声Nr。

从电压到数字。 为了生成可以存储在数字存储介质中的图像，使用ADC将在最后一级读取的模拟电压信号量化为离散代码。 该过程引入了由下式给出的量化噪声Nq
Nq ∼ U (−1/2q, 1/2q) ,（5）
其中U（·，·）表示在[-1 / 2q，1 / 2q]范围内的均匀分布，q是量化步长。

总结一下，我们的噪声形成模型包含四个主要噪声成分：
N = KNp + Nread + Nr + Nq,（6）
其中K，Np，Nread，Nr和Nq分别表示整体系统增益，光子散粒噪声，读取噪声，行噪声和量化噪声。

3.2. Sensor Noise Evaluation

在本节中，我们提出了一种附加到我们提出的噪声形成模型的噪声参数校准方法。 根据等式。 （2）（4）（6），指定我们的噪声模型的必要参数包括光子散粒噪声Np的整体系统增益K； 读取噪声Nread的形状和比例参数（λ和σTL）； 行噪声Nr的比例参数σr。 给定一台新相机，我们的噪声校准方法包括两个主要过程，即（1）估算各种ISO设置下的噪声参数3，以及（2）建模噪声参数的联合分布

估计噪声参数。 我们记录两个原始图像序列以估计K和其他噪声参数：平面帧和偏置帧。

平面帧是传感器均匀照明时捕获的图像。 它们可用于根据光子转移方法得出K。 [32]一旦有了K，我们就可以首先将原始数字信号D转换为光电子I的数量，然后在其上施加泊松分布，最后将其还原为D –这模拟了真实的光子散粒噪声。

偏置帧是在最短曝光时间的无光环境下捕获的图像。我们把它们带到一个黑暗的房间，并盖好了镜头。偏置帧描绘了独立于光的读取噪声图像，并由上述多个噪声源进行了混合。可以通过对偏置帧执行离散傅里叶变换来测试带状噪声。在图3中，集中式傅立叶频谱中突出显示的垂直模式揭示了行噪声分量的存在。为了分析行噪声的分布，我们从原始数据中提取每行的平均值。因此，考虑到其他噪声源的零均值特性，这些值可以很好地估计潜在的行噪声强度。行噪声数据的正态性通过Shapiro-Wilk检验[55]进行了测试：所得的p值高于0.05，这表明不能拒绝数据正态分布的原假设。通过使对数似然最大化，可以容易地估计相关的比例参数σr。

Figure 3: Centralized Fourier spectrum of bias frames captured by SonyA7S2 (left) and (right) NikonD850 cameras
从偏差帧中减去估计的行噪声后，可以使用统计模型来估计残留读取噪声的经验分布。 初步诊断（图4左）显示数据的主体可能遵循高斯分布，但同时也揭示了基础分布的长尾性质。 与将极端值视为离群值相反，我们观察到适当的长尾统计分布可以更好地表征噪声数据。

Figure 4: Distribution fitting of read noise for SonyA7S2 (top) and NikonD850 (bottom) cameras. Left: probability plot against the Gaussian distribution; Middle: Tukey lambda PPCC plot that determines the optimal λ (shown in red line); Right: probability plot against the Tukey Lambda distribution. A higher R2 indicates a better fit. (Best viewed with zoom)
我们生成了概率图相关系数（PPCC）图[20]，以从Tukey lambda分布族[34]中识别出最能描述数据的统计模型。 Tukey lambda分布是一个族分布，可以通过更改其形状参数λ来近似许多分布。 如果λ= 0.14，则可以近似高斯分布；如果λ<0.14，则可以导出重尾分布。 PPCC图（图4中部）用于找到λ的良好值。 然后使用概率图[60]（图4右）来估计比例参数σTL。拟合优度可以通过R2（确定系数w.r.t）进行评估。 结果概率图[47]。 拟合的Tukey Lambda分布的R ^ 2远高于高斯分布（例如，0.972对0.886），表明对经验数据的拟合更好。

尽管我们对不同的摄像机使用统一的噪声模型，但从不同的摄像机估计的噪声参数却千差万别。 图4显示所选的最佳形状参数λ随摄像机不同而不同，这意味着不同摄像机的重尾分布程度不同。 真实和模拟偏置帧的视觉比较如图5所示。它表明我们的模型能够在各种摄像机上合成现实噪声，无论是在拟合优度方面（即，均优于Gaussian噪声模型） ，R^2）和与真实噪声的视觉相似度。

建模联合参数分布。 为了为我们的噪声形成模型选择噪声参数，我们从在各种ISO设置下估算的参数样本中推断出（K，σTL）和（K，σr）的联合分布。 如图6所示，我们使用线性最小二乘法找到两组对数刻度测量的最佳拟合线。 我们的噪声参数采样程序是
$$\begin{array}{l}\log (K)\sim U\left(\log \left({\hat{K}}_{\min }\right),\log \left({\hat{K}}_{\max }\right)\right)\\ \log \left({\sigma }_{TL}\right)\mid \log (K)\sim \mathcal{N}\left(a_{TL}\log (K)+b_{TL},{\hat{\sigma }}_{TL}\right)\\ \log \left({\sigma }_r\right)\mid \log (K)\sim \mathcal{N}\left(a_r\log (K)+b_r,{\hat{\sigma }}_r\right)\end{array}\text{\hspace{1em}(7)}$$

其中，U（·，·）表示均匀分布，而N（µ，σ）表示均值µ和标准偏差σ的高斯分布。 Kˆmin和Kˆmax分别是在照相机的最小和最大ISO时估计的整体系统增益。 a和b分别表示虚线的斜率和截距。 σˆ是在高斯误差假设下线性回归的标准偏差的无偏估计。 对于形状参数λ，我们仅从估计参数样本的经验分布中对其进行采样。

噪声的图像合成。 为了合成噪声图像，选择干净的图像并除以从[100，300]均匀采样的低光因子，以模拟黑暗中的低光子数。 然后根据等式（6）（7）生成噪声并将其添加到按比例缩放的干净样本中。 通过乘以相同的低照度因子最终使创建的噪点图像归一化，以显示明亮但噪声严重的内容。

4. Extreme Low-light Denoising (ELD) Dataset

为了系统地研究建议的噪声形成模型的一般性，我们收集了涵盖多个品牌（SonyA7S2，NikonD850，CanonEOS70D，CanonEOS700D）的10个室内场景和4个摄像头设备的极端低光降噪（ELD）数据集。我们还记录了每台摄像机的偏置和平场，以校准我们的噪声模型。数据捕获设置如图7所示。对于每个场景和每个摄像机，首先拍摄基本ISO的参考图像，然后是嘈杂的图像，这些图像的曝光时间被弱光因素f故意减少，以模拟极低的曝光。光照条件。然后拍摄类似于第一张的另一张参考图像，以确保没有发生意外错误（例如，剧烈的照明变化或意外的摄像机/场景移动）。我们为噪点图像选择了三个ISO级别（800、1600、3200）4和两个低光照因子（100、200），以捕获我们的数据集，从而总共获得了240对（3×2×10×4）原始图像对。我们数据集中最难的示例类似于以“伪” ISO拍摄的图像，最大可达640000（3200×200）。
后面的看这里https://blog.csdn.net/weixin_44690935/article/details/108594771