图像传感器与信号处理——详解图像传感器噪声

图像传感器与信号处理——详解图像传感器噪声

本文主要是结合《Noise in Image Sensors》和《Image Sensors And Signal Processing for Digital Still Cameras》两本参考文献对图像传感器噪声进行总结，值得注意的是，本文介绍的图像传感器噪声，并不是图像噪声。图像传感器噪声的讨论中涉及到更多硬件等基础知识，而图像噪声产生的一个很重要的源头正是图像传感器噪声，只有彻底了解噪声的来源后才能更好地考虑如何去消除噪声。此外，信号电荷数量随光照强度的响应如下图所示：

其中横坐标是光照强度，纵坐标是信号电荷数量，由图可知，信号电荷数量随光照强度的增强而增加，直到信号电荷数量饱和。但是信号电荷中一直包含由噪声引起的部分。我们定义动态范围为信号电荷饱和数量与噪声之比，响应强度为信号电荷数量与光照强度之比。那么，想要一个高的动态范围和一个好的响应强度，降低噪声水平就是一个很重要的部分。

1 图像传感器噪声分类

按照图像传感器噪声的类型进行分类，可以分为模式噪声和随机噪声。

（1）模式噪声
模式噪声，在帧与帧之间不发生明显变换，无法通过帧间平均进行抑制。

模式噪声又可以分为固定模式噪声（fixed pattern noise，FPN）和光照响应非均匀性（photo-response non-uniform，PRNU）

固定模式噪声是在没有光照条件下测量的，固定模式噪声和传感器尺寸，掺杂浓度，制造过程中的污染，晶体管的性质等有关。历史上，固定模式噪声的存在限制了CMOS图像传感器的发展。

光照响应非均匀性和光照有关，随机噪声和传感器尺寸，掺杂浓度，覆盖层厚度，光照波长等有关。对其讨论相对较少。

（2）随机噪声
随机噪声，顾名思义是随机的，在帧与帧之间不同，可以通过统计分布进行描述并可以通过帧间平均的方式进行抑制。

随机噪声又可以分为热噪声（thermal noise），散粒噪声（shot noise），1/f噪声（flicker noise）等，下文将对这些噪声进行详细介绍。

2 图像传感器噪声描述

根据图像传感器的噪声分类进行描述：

对于模式噪声，通常根据均匀照明下各个像素的信号变化来定义模式噪声，具体地可以用各个像素的满载输出的百分比进行描述。

对于随机噪声，通常根据电压或电流的统计学分布来进行描述，例如我们获得信号的$\mathbf{n}$个采样${\mathbf{x}}_1,{\mathbf{x}}_2,{\mathbf{x}}_3,\dots {\mathbf{x}}_{\mathbf{n}}$，其平均值为$$\mathbf{x}=\left({\mathbf{x}}_1+{\mathbf{x}}_2+{\mathbf{x}}_3+\dots {\mathbf{x}}_{\mathbf{n}}\right)/\mathbf{n}$$很多噪声的平均值为零，因此描述噪声更好地方式是方差$⟨{\mathbf{x}}^2⟩$或标准差$\sqrt{⟨{\mathbf{x}}^2⟩}$：$$⟨{\mathbf{x}}^2⟩=\frac{1}{\mathbf{n}}\sum _{\mathbf{j}=1}^{\mathbf{n}}{\left({\mathbf{x}}_{\mathbf{j}}-\mathbf{x}\right)}^2$$

3 图像传感器噪声原理

根据第一部分中图像传感器噪声分类，那么3.1-3.5为随机噪声，3.6-3.7为模式噪声。随机噪声部分中热噪声、散粒噪声、1/f噪声为光学和电学系统中最基本的的三种随机噪声，而重置噪声和本底噪声更加倾向于是三种基本噪声的具体应用或者组合情况。

3.1 热噪声（Thermal Noise）

热噪声属于白噪声，是随机噪声的一种。对于一个电阻，其平方根电压计算公式如下：$$⟨{\mathbf{v}}_{\mathbf{t}\mathbf{h}}⟩=\sqrt{4\mathbf{k}\mathbf{T}\mathbf{B}\mathbf{R}}$$其中，$\mathbf{R}$是电阻值，$\mathbf{B}$是噪声等效带宽，虽然热噪声涵盖整个频率范围，但是噪声等效带宽$\mathbf{B}$决定了实际测量的频率范围，实际操作时将其定义为电路的电压增益平方等效带宽（这里可能有点绕，看完下面的例子就明白了），其计算方式如下：

如上图是CMOS图像传感器中重置光电二极管以及CCD图像传感器中输出节点的等效电路，电压增益的定义是输出电压与输入电压之比，其理想的电压增益随频率变化的示意图为：

但实际的电压增益随频率变化的示意图为：

很容易地，电路的电压增益平方等效带宽计算为：$$\mathbf{B}=\frac{1}{{\left|{\mathbf{A}}_0\right|}^2}{\int }_0^{\infty }\left|\mathbf{A}(\mathbf{f}{)}^2\right|\mathbf{d}\mathbf{f}$$代入实际的参数得：$$\begin{array}{rl}\mathbf{A}(\omega )& =\frac{{\mathbf{v}}_{\mathbf{o}\mathbf{u}\mathbf{t}}}{{\mathbf{v}}_{\mathbf{i}\mathbf{n}}}=\frac{\frac{1}{\mathbf{j}\omega \mathbf{C}}}{\frac{1}{\frac{1}{\mathbf{j}\omega \mathbf{C}}+\mathbf{R}}}\\ & =\frac{1}{1+2\pi \mathbf{f}\mathbf{R}\mathbf{C}}\text{ since }\omega =2\pi \mathbf{f}\\ & =\frac{{\mathbf{f}}_0}{\mathbf{j}\mathbf{f}+{\mathbf{f}}_0}\text{ where }{\mathbf{f}}_0=\frac{1}{2\pi \mathbf{R}\mathbf{C}}\end{array}$$令$\mathbf{f}=0,\mathbf{A}(\mathbf{f})={\mathbf{A}}_0=1$，那么$$\begin{array}{rl}\mathbf{B}& ={\int }_0^{\infty }{\left(\frac{{\mathbf{f}}_0}{\sqrt{{\mathbf{f}}^2+{\mathbf{f}}_0^2}}\right)}^2\mathrm{d}\mathbf{f}\\ & ={\mathbf{f}}_0^2{\int }_0^{\infty }{\left({\mathbf{f}}_0^2+{\mathbf{f}}^2\right)}^{-1}\mathrm{d}\mathbf{f}\\ & =\frac{\pi }{2}{\mathbf{f}}_0\end{array}$$因此$\frac{\pi }{2}{f}_0$就是该电路的电压增益平方等效带宽，也就是噪声等效带宽。

3.2 散粒噪声（Shot Noise）

散粒噪声是另一种白噪声，由电子本身的离散特性引起。散粒噪声可以由暗电流和随机光生电子两部分产生，且粒子（例如光子和电子）在一定的时间间隔内发射的概率服从泊松分布，泊松分布有一个有趣的性质，它的方差等于平均值。由暗电流产生的部分的方差可以通过下式计算：$$⟨{\mathbf{n}}_{\mathbf{d}\mathbf{a}\mathbf{r}\mathbf{k}}^2⟩={\mathbf{n}}_{\mathbf{d}\mathbf{a}\mathbf{r}\mathbf{k}}=\frac{{\mathbf{J}}_{\mathbf{d}\mathbf{a}\mathbf{r}\mathbf{k}}\mathbf{A}{\mathbf{t}}_{\mathbf{i}\mathbf{n}\mathbf{t}}}{\mathbf{q}}$$其中，${\mathbf{J}}_{\mathrm{d}\mathrm{a}\mathrm{r}\mathrm{k}}$为暗电流密度，$\mathbf{A}$为传感器面积，${\mathbf{t}}_{\mathrm{i}\mathrm{n}\mathrm{t}}$为积分时间。由随机光生电子产生的部分的方差可以通过下式计算：$$⟨{\mathbf{n}}_{\mathbf{p}\mathbf{e}}^2⟩={\mathbf{n}}_{\mathbf{p}\mathbf{e}}=\eta {\mathbf{I}}_0{\mathbf{A}\mathbf{t}}_{\mathbf{i}\mathbf{n}\mathbf{t}}$$其中${\mathbf{I}}_0$为光子通量，$\eta$为量子效率。那么整个散粒噪声的描电量为：$$\begin{array}{rl}⟨{\mathbf{n}}_{\mathbf{s}\mathbf{h}\mathbf{o}\mathbf{t}}⟩& =\sqrt{⟨{\mathbf{n}}_{\mathbf{d}\mathbf{a}\mathbf{r}\mathbf{k}}^2⟩+⟨{\mathbf{n}}_{\mathbf{p}\mathbf{e}}^2⟩}=\sqrt{{\mathbf{n}}_{\mathbf{d}\mathbf{a}\mathbf{r}\mathbf{k}}+{\mathbf{n}}_{\mathbf{p}\mathbf{e}}}\\ & =\sqrt{\frac{{\mathbf{J}}_{\mathbf{d}\mathbf{a}\mathbf{r}\mathbf{k}\mathbf{A}\mathbf{t}}}{\mathbf{q}}+\eta {\mathbf{I}}_0\mathbf{A}{\mathbf{t}}_{\mathbf{i}\mathbf{n}\mathbf{t}}}\end{array}$$

3.3 1/f噪声（Flicker Noise）

任何接触面（包括导体-导体、导体-半导体、半导体-半导体等）都会出现电导率波动，放大电路中的接触面电导率波动就导致了1/f噪声，1/f噪声电流由下式给出：$$⟨{\mathbf{i}}_{1/\mathbf{f}}⟩\propto {\mathbf{I}}_{\mathrm{d}\mathrm{c}}\sqrt{\frac{\mathbf{B}}{\mathbf{f}}}$$如下图所示：

低频时1/f噪声为系统噪声主要成分，而高频时1/f噪声会降低到比热噪声小，从而热噪声成为系统噪声主要成分。

3.4 重置噪声（Reset Noise）

以上三种随机噪声在CCD图像传感器和CMOS图像传感器中都有，而重置噪声通常指CMOS图像传感器中，如下图为经典的CMOS图像传感器像素的重置电路：
在导通状态下，复位晶体管可以等效为一个电阻，因此整个光电二极管复位电路构成了一个RC低通滤波电路，如下图所示就会产生热噪声：
其等效电路为：
根据3.1节中的推导可知，重置电路中噪声等效带宽为$$\mathbf{B}=\frac{\pi }{2}{\mathbf{f}}_0=\frac{1}{4\mathbf{R}\mathbf{C}}$$因此有$$⟨{\mathbf{v}}_{\mathbf{o}\mathbf{u}\mathbf{t}}⟩=\sqrt{\frac{\mathbf{k}\mathbf{T}}{\mathbf{C}}}$$噪声通常有电量表示，又$\mathbf{Q}=\mathbf{n}\mathbf{q}=\mathbf{C}{\mathbf{v}}_{\mathbf{o}\mathbf{u}\mathbf{t}}$，因此有$$⟨{\mathbf{n}}_{\mathbf{e}}⟩=\frac{\mathbf{C}}{\mathbf{q}}\sqrt{\frac{\mathbf{k}T}{\mathbf{C}}}=\frac{\sqrt{\mathbf{k}\mathbf{T}\mathbf{C}}}{\mathbf{q}}$$因此重置噪声又称为“kTC噪声”。

3.5 本底噪声（Noise Floor）

本底噪声又名读出噪声，其定义是读出电路产生的噪声，它不包括检测器中产生的噪声。在CCD图像传感器中，假设CCD移位寄存器能够实现完全的电荷转移，那么本底噪声由输出放大器产生的噪声决定。在CMOS图像传感器 中，本底噪声由读出电路（包括像素内部的放大器）决定 。

本底噪声是需要根据不同的读出电路进行不同的估计，有可能根据热噪声公式进行估计，也有可能根据1/f噪声公式进行估计，还有可能是他们的串联或并联。如果重置噪声没有被抑制的话，还要考虑重置噪声的部分。

3.6 固定模式噪声（Fixed Pattern Noise）

固定模式噪声是没有光照条件下像素间的变化，在CCD图像传感器和CMOS图像传感器中产生原因有所不同，在CCD图像传感器中固定模式噪声主要来源于暗电流的不均匀性，而CMOS图像传感器中主要来源于暗电流的不同以及像素中有源晶体管的性能波动。因为都涉及到暗电流，先对暗电流的来源进行讨论：

暗电流是在目标物体无光照的条件下观测到的电流，是一种非理想因素，暗电流会积分成为暗电荷并存储在像素内的电荷储存节点。暗电流通常有三部分组成，分别是

（1）耗尽区产生的电流
在反偏PN结接触面附近形成的耗尽层中，少数载流子被耗尽，因而产生过程（电子和空穴分离）变为了使系统回到平衡中的主导过程，进而形成耗尽区产生的电流。其计算公式如下：$${\mathbf{J}}_{\mathbf{g}\mathbf{e}\mathbf{n}}=\frac{\mathbf{q}{\mathbf{n}}_{\mathbf{i}}\mathbf{W}}{{\tau }_{\mathbf{g}}}$$ 其中，${\mathbf{n}}_{\mathbf{i}}$为本征载流子密度，${\tau }_{\mathbf{g}}$为在产生电流寿命，$\mathbf{W}$为耗尽区面积或体积。

（2）扩散电流
在扩散区边缘，少数载流子密度比平衡时更低，通过扩散过程，它在中性体区接近平衡密度，这个过程中就形成了扩散电流，其计算公式如下：$${\mathbf{J}}_{\mathbf{d}\mathbf{i}\mathbf{f}\mathbf{f}}=\frac{\mathbf{q}{\mathbf{D}}_{\mathbf{n}}{\mathbf{n}}_{\mathbf{p}0}}{{\mathbf{L}}_{\mathbf{n}}}=\mathbf{q}\sqrt{\frac{{\mathbf{D}}_{\mathbf{n}}}{{\tau }_{\mathbf{n}}}}\cdot \frac{{\mathbf{n}}_{\mathbf{i}}^2}{{\mathbf{N}}_{\mathbf{A}}}$$ 其中，${\mathbf{n}}_{\mathbf{i}}$为本征载流子密度，${\mathbf{D}}_{\mathbf{n}}$和${\tau }_{\mathbf{n}}$分别表示扩散系数和少数载流子寿命。

（3）表面产生电路
表面晶格结构的突然中断，会产生更多的能量态和产生中心，进而形成表面产生电流 。其计算公式如下：$${\mathbf{J}}_{\mathbf{s}\mathbf{u}\mathbf{r}\mathbf{f}}=\frac{\mathbf{q}{\mathbf{S}}_0{\mathbf{n}}_{\mathbf{i}}}{2}$$其中，${\mathbf{n}}_{\mathbf{i}}$为本征载流子密度， ${\mathbf{S}}_0$是表面产生速率。

综上所述，总的暗电流可以表示为：$${\mathbf{J}}_{\mathbf{d}}=\frac{\mathbf{q}{\mathbf{n}}_{\mathbf{i}}\mathbf{W}}{{\tau }_{\mathbf{g}}}+\mathbf{q}\sqrt{\frac{{\mathbf{D}}_{\mathbf{n}}}{{\tau }_{\mathbf{n}}}}\cdot \frac{{\mathbf{n}}_{\mathbf{i}}^2}{{\mathbf{N}}_{\mathbf{A}}}+\frac{\mathbf{q}{\mathbf{S}}_0{\mathbf{n}}_{\mathbf{i}}}{2}\left[\mathrm{A}/{\mathrm{c}\mathrm{m}}^2\right]$$在这三个主要成分中，如果在室 温下进行比较，会有 ${\mathbf{J}}_{\mathbf{s}\mathbf{u}\mathbf{r}\mathbf{f}}>{\mathbf{J}}_{\mathbf{g}\mathbf{e}\mathbf{n}}>{\mathbf{J}}_{\mathbf{d}\mathbf{i}\mathbf{f}\mathbf{f}}$ 。然而，表面成分可以通过在表面制作一层反型层进行抑制，在大多数IT和FIT CCD图像传感器和CMOS 图像传感器中，这种方案可以通过加入一个钳位光电二极管实现，具体实现可以参看我的另一篇博客图像传感器与信号处理——详解CCD与CMOS图像传感器。

以上就是对暗电流的讨论，前文提到CMOS图像传感器中的固定模式噪声还包括有源晶体管性能波动，而这一部分可以通过设计噪声抑制电路进行抑制，后文详述。

3.7 光照响应非均匀性

光照响应非均匀性相对研究得较少，历史上也是如此。光照响应非均匀性是时间独立（time-independent）但是信号相关（signal-dependent）的。正因为其实信号相关的，因此光照响应非均匀性通常表达为光子数量的乘积：$$⟨{\mathbf{n}}_{\mathbf{P}\mathbf{R}\mathbf{N}\mathbf{U}}⟩={\mathbf{U}\mathbf{n}}_{\mathbf{p}\mathbf{e}}$$

4. 图像传感器降噪方法

以降噪为标准进行分类可以将上述噪声分为三类：
第一类是对于降噪我们无能为力的，例如光子散粒噪声；第二类是我们可以通过细心设计器件进行降噪的，例如热噪声；第三类是我们可以通过电路设计进行降噪的，例如固定模式噪声。

4.1 热噪声降噪

热噪声的一个通常表达方式是噪声电子密度（noise electron density， NED），其表达是如下：$$\mathbf{N}\mathbf{E}\mathbf{D}(\mathbf{f})={\left[\frac{{\mathbf{e}}_{\mathbf{n}}(\mathbf{f}){\mathbf{C}}_{\mathbf{t}}}{\mathbf{q}}\right]}^2$$其中，${\mathbf{e}}_{\mathbf{n}}(\mathbf{f})$是输出阶段的等效噪声电压， ${\mathbf{C}}_{\mathbf{t}}$是电路的总电容。噪声电子密度随晶体管的宽度和长度的变化趋势如下图所示：
在晶体管长度$\mathbf{L}$固定的的情况下，增加晶体管的宽度$\mathbf{W}$会增加电路的总电容${\mathbf{C}}_{\mathbf{t}}$同时降低输出阶段的等效噪声电压${\mathbf{e}}_{\mathbf{n}}(\mathbf{f})$，因此理想的状态是将晶体管的宽度$\mathbf{W}$控制在15微米左右。同时降低晶体管长度$\mathbf{L}$，这样可以降低电路热噪声。

4.2 散粒噪声降噪

在前文的介绍中，散粒噪声分为两部分，暗电流和随机光生电子，对于随机光生电子，没有具体的措施能够抑制，除非降低量子效率，但是这对于整体性能是不允许的，而对于暗电流，可以通过改变掺杂浓度，采用掩埋沟道，降低像素面积等进行抑制，较为切实可行的是掩埋沟道的设计，改变掺杂浓度会改变量子效率，而降低像素面积同时也会使得传感器信噪比变差，综上所示，散粒噪声并不是传感器噪声的主要抑制对象

4.3 1/f噪声降噪

以为1/f主要来自于硅和二氧化硅的界面，因为我们可以通过：
（1）减小晶体管的宽度$\mathbf{W}$，增加晶体管的长度$\mathbf{L}$，但是因为放大器的增益和晶体管的宽度和长度之比$\mathbf{W}/\mathbf{L}$有关，因为最有效的方式是同时增加晶体管的宽度$\mathbf{W}$和长度$\mathbf{L}$
（2）使用掩埋沟道来分离传输通道和界面；

4.4 CDS和DDS噪声抑制电路

CDS噪声抑制电路全程为Correlated Double Sampling，如下图所示：

这里的因重置导致的噪声应该是包括kDC噪声（前文定义的重置噪声）和固定模式噪声等。一共有两种采样方式，第一种是先采样噪声信号再采样图像信号，如下图所示：

这种采样方式适应于CCD图像传感器和钳位光电二极管（这个可以参考图像传感器与信号处理——详解CCD与CMOS图像传感器），在运行过程中，先采样噪声信号，然后将图像信号直接加载到噪声信号上进行二次采样，这个加载的实际上式电荷的流动，因为是直接加载，因此这种方式可以有效地抑制由重置造成的所有噪声。

第二种是先重置如下图所示：

这种采样方式适应于普通的光电二极管，其运行过程如下图所示：这样采样的原因是普通的光电二极管因为结构简单无法实现上述的信号加载过程，因此只能电荷积分兽先采样图像信号，再采样噪声信号。这种方式只能抑制相关的固定模式噪声和部分kTC造成，因此在这种采样方式下，kTC噪声是主要噪声。

因为CDS噪声抑制电路同样是由晶体管构成的，因此其本身也会引入噪声。为了抑制这部分噪声，可以通过如下图所示的DDS噪声抑制电路实现：

其基本原理是在完成两组信号短路后，将两个采样电容短接，这样就可以获得两次采样过程中由于晶体管波动等带来的噪声。

个人感觉图像传感器的噪声的分类不是很清楚，不过本来也是相互耦合的，最终体现出来的都是图像噪声，不过理解图像传感器噪声可以更好地去理解图像噪声，图像传感器噪声通过硬件调整进行抑制，而图像噪声通过算法进行消除，接下来好好研究下图像噪声。那么这篇总结都到此为止，欢迎指正交流~

此外，对图像降噪算法感兴趣的同学可以看考我的博客图像降噪算法——图像降噪算法总结