Image Sensor原理和常用术语简单介绍

本文部分参考了这篇文章，它叙述非常详细，值得仔细阅读。
摄像机用来成像的感光元件称为Image Sensor或Imager，其作用就是将光图像转换成图像电信号，准确地说，是将入射到传感器光敏面上按空间分布地光强信息（可见光、红外辐射等），转换成按时序穿行输出的电信号——视频信号，使用这些视频信号能再现入射的光辐射图像。
目前广泛使用的Image Sensor有两种，分别是CCD Sensor和CMOS Sensor，它们在1960年代开发，如今已经被广泛地应用在数码相机和其他电子光学设备中。虽然在过去40年CCD传感器一直主导着市场，但CMOS传感器设计的改进使其市场份额不断增长，并在许多图像传感器应用中取代CCD。相比于CCD，CMOS传感器所需功率更小、处理图像的速度更快，制造成本更低。目前CMOS传感器已经被手机以及其它移动产品广泛使用。

1. CCD Sensor的原理

CCD（Charge Coupled Device，电荷耦合器件）传感器实质上是一种模拟移位寄存器。其原理是在时钟的控制下，将信号电荷由一个势阱转移到另一个势阱，从而实现模拟信号的移位转移。CCD图像传感器利用CCD器件的信号转移功能来实现电扫描。下图是CCD图像传感器的工作示意图，信号的多路转换由垂直转移CCD 器件及水平转移CCD 器件两部分组成。在实际的CCD图像传感器中，光电转换器件与垂直CCD器件是集成在一起的。垂直CCD器件将每一行的光电二极管信号顺次转移到水平CCD器件上；而水平CCD器件将这一行信号转移到输出端。重复以上过程，形成一场图像信号。

2. CMOS Sensor原理

CMOS（Complementary Metal Oxide Semicondutor，互补金属氧化物半导体）是一种主流的半导体工艺，具有功耗低、速度快的优点，被广泛地用于制造CPU、存储器和各种数字逻辑芯片。基于CMOS 工艺设计的图像传感器叫做CMOS Image Sensor（CIS），与通用的半导体工艺尤其是存储器工艺相似度达到90%以上。

CMOS图像传感器采用CMOS开关来切换各个光电二极管的信号，如图1所示，每一个像元由一个光电二极管和一个CMOS开关构成。当行驱动电路选中某一行时，此行像元输出信号的CMOS开关导通，其余行的CMOS开关不导通，此行像元的光电信号传输到列选多路器。列选多路器也是由一系列的CMOS开关构成，依次将此行的信号顺序联接到输出端，完成一列信号的顺序读出。

3. CCD与CMOS图像传感器的比较

CCD与CMOS的主要区别如下图3所示，CCD 器件通常只有一个电荷-电压转换器（Charge-Voltage Converter），当Sensor读出像素数据时，每一行像素中积累的电荷需要在行电压的控制下一步步“蠕动”到下一行，直到最终抵达阵列所属的行缓冲（Row Buffer），然后开始在列电压的控制下继续一步“蠕动”到阵列出口处的电荷-电压转换器，完成读出过程。CCD的一个主要优点在于所有像素共享同一个电荷-电压转换器，所以像素一致性非常好。相比之下CMOS每个像素都有自己专用的电荷-电压转换器，一致性很不容易控制。当CCD像素数多于200万时，所有像素共用一个电荷-电压转换器会严重影响读出速度，所以此时会考虑把像素设计成两个或四个阵列，每个阵列配备专用的行缓冲和电荷-电压转换器，可以成倍加快读出速度。

4. CMOS Sensor特性

CMOS Sensor的本质是计量光电转换事件的线性传感器，在一定意义上可以说是光子计数器，Sensor上每个像素的读值都反映了指定时间内该像素捕获光子的数量。

理想CMOS Sensor 的响应特性下图所示。

下图中直线的斜率决定了单位输入能够激励的响应大小，这个斜率称为增益系数（Gain）。Sensor 会提供一组接口用于调节实际生效的增益值。下图是理想Sensor响应特性曲线。

实际的Sensor只能是在一段有限的区间内保持线性响应，对于幅度过小或者过大的输入信号会不能如实地表示。如下图。

Gain

gain是增益的意思，增益效应就是乘法运算（不同的数值乘以同一个数，数值越大的，乘完的结果更大），所以gain的默认值为“1”，图像不会有任何变化。但是如果增益不是1，而是比1大的数，这个时候对于越亮的部分就越有影响，对于暗的部分影响就没有那么大，最暗的部分0乘增益后还是0。

模拟增益（Analog Gain）是将相机传感器所输出的模拟亮度信号作为增幅的增益。
数字增益（Digital Gain）是将模拟讯号转为数字信号之后经计算作为增幅的增益。

从Sensor输出的亮度信号，会由被称为CDS的专用IC进行信号数位化。模拟增益是在CDS中对数字化前的信号做增益，因此也被称为CDS增益。数字增益是讯号在CDS将数字化后的讯息传给FPGA之后，在FPGA中进行的增益。

两种增益方式都有可能产生噪声（参考）。

模拟增益带来的噪声：用数据来说明：2.4 和3.1，数字量化后为2和3.但假如模拟增益2x,则为4.8和6.2,量化后为5和6。这就是模拟增益带来的噪声。但模拟增益带来的噪声只会一次引入。不会多次级联引入。

数字增益带来的噪声问题会多次级联引入。比如信号原先为2.4和3.1，信号差为0.7。但数字化后变为2和3，经过2倍后变为4和6这就是数字增益带来的噪声。8x后就是16和24.而实际上模拟噪声8x也就是才2.48和3.18，数字量化后为19和25。

Flicker

Flicker（闪烁）现象发生时，从图像（或视频）上回看到有规律的明暗相间的条纹，这种现象也叫牛顿环。如下图。

下文部分参考索尼支持文档。
对于光源，老式的荧光灯大多没有配备逆变器，受交流电频率影响，每秒会闪烁100次（50Hz交流电）或120次（60Hz交流电）。LED光源由于其自身特性，闪烁频率甚至会达到数百或数千赫兹。

CMOS Sensor的滚动曝光（Rolling Shutter）是产生带状条纹的原因。
如下图所示是像素阵列，由行和列正交排列构成， 每个像素的形状是正方形。每一行像素共享一组重置（Reset）控制、选择（Select）控制和传输（Tx）控制。像素阵列的曝光过程是：以像素重置作为开始，然后进行选择、输出，一次曝光结束，等待下一次重置进行下一轮曝光的开始。

在这个过程中，每行像素执行的重置、选择、传输操作是相同的，即每一行像素共享控制信号的曝光、读出时序。也就是说，时序控制是以行为单位进行的。每行像素按顺序间隔相同的时间，依次开始执行曝光的方法就称为滚动曝光。如下图。

光源闪烁加上滚动曝光方法，造成了Flicker现象。此外，滚动曝光在拍摄高速运动的物体时，还会产生果冻效应，使拍摄得到的物体看起来发生了形变。

不过这是题外话，我们回到Flicker现象上来。Flicker现象不仅发生在一帧内部，在帧与帧之间也存在同样的问题。城市交通信号灯通常采用220V市电供电，因此会存在10ms的光能量周期（美国是110V，周期8.3ms），也就是说，信号灯每亮10ms后会熄灭10ms。人眼无法辨认，但sensor却可以清楚地捕捉。当sensor曝光时间很短时，就会遇到某一帧图像里信号灯碰巧全都不亮的尴尬场景。如下图。

积分时间（Integration time）与曝光时间表征同一个特性，但是是以行为单位的。比如INT TIM是159，就表示sensor的曝光时间是159行。
对于同样的积分时间，sensor处于不同位置的像点开始积分时所处电信号的相位不同，同样时间内能够积累的光子数也不同。

当光源周期与integration time成整数倍时才不会产生flicker。