Sensor成像基本原理

写在前面

由于我近3年都在做有关ISP的工作，工作中会接触到sensor相关的评估，但自己并非相关专业的，对sensor知识相对匮乏，这个系列的文章将会记录一些sensor相关的知识点，一是作为学习笔记，二是作为知识整理的分享。

这个系列目的是需要掌握以下内容：

• Sesnor成像系统
• sensor成像原理
• sensor的种类及其区别
• 当前有那些厂商

注：本文章并非纯粹的原创，而是对其他文章知识的整合+自己的总结思考，文末会标注出处。

Sensor成像系统及结构 

        相机中最关键的部分：镜头、传感器（sensor）、图像/数字信号处理器，如下图所示：

   

   

相机的镜头知识又是一个单独的大类，本文暂且不赘述，重点对sensor的成像进行记录。

                  

图像传感器称为感光元件，是一种将光信号转为电信号的元器件，它被广泛的应用于数码相机和其他电子光学设备中。

CCD和CMOS

Sensor种类，一种是CCD传感器，一种是CMOS传感器两种，这两种分别是电荷耦合器件和互补金属氧化物半导体的缩写。

CCD

        在感光像点接受光照之后，感光元件产生对应的电流，电流大小与光强有关，因此感光元件之间输出对的电信号是模拟的。在CCD工业相机传感器中，每一个感光元件都不对此作进一步的处理，而是将它直接输出到下一个寄存器，结合该元件生成的模拟信号输出给第三个寄存器，以次类推，知道结合后面一个寄存器后，才能形成统一的输出。CCD提供很好的图像质量、抗噪能力和相机设计时的灵活性。尽管由于增加了外部电路使得系统的尺寸变大，复杂性提高，但在电路设计时可更加灵活，可以尽可能的提升CCD相机的某些特别关注的性能。CCD更适合于对相机性能要求非常高而对成本控制不太严格的应用领域，如天文，高清晰度的医疗X光影像、和其他需要长时间曝光，对图像噪声要求严格的科学应用。

关于CCD工作原理，有一个经典的区域雨水测量比喻:

        CCD串行读出方式，可以用桶旅测量区域雨量来示意。其中落在桶阵列上的降雨强度可能因地而异，与成像传感器上的入射光子相似，如图（a）。

        这些桶在积分期间收集了不同数量的信号（水），桶在传送带上向代表串行寄存器（Serial Bucket Array）的一排空桶传送。在图（b），一整排存储桶被并行移动到串行寄存器的存储库中。串行移位和读出操作如图（c）所示，其中描绘了每个桶中累积的雨水被顺序转移到校准的测量容器中，这类似于CCD输出放大器。当串行传送带上所有容器的内容物按顺序测量完毕后，另一列并行班次（Parallel Register Shift）将下一行收集桶的内容物转移到串行记录容器中，重复该过程，直到每个桶（像素）的内容物都测量完毕。

CMOS

        CMOS传感器中每一个感光元件都直接整合了放大器和模数转换逻辑，当感光二极管接受光照、产生模拟的电信号之后，电信号首先被该感光元件中的放大器放大，然后直接转换成对应的数字信号。换句话说，在CMOS传感器中，每一个感光元件都可产生的数字输出，所得数字信号合并之后被直接送交DSP芯片处理，问题恰恰是发生在这里，CMOS感光元件中的放大器属于模拟器件，无法保证每个像点的放大率都保持严格一致，致使放大后的图像数据无法代表拍摄物体的原貌—体现在后面的输出结果上，就是图像中出现大量的噪声，品质明显低于CCD传感器。但是，对于一般的精度要求，还是可以满足的。在集成电路领域中，CMOS采用的工艺是最基本的工艺，工艺相对来说不复杂，所以成本也不高，光电灵敏度较高等优点。它的一些性能参数也在不断被优化，应用也越来越广，总体来说，CMOS 的性价比还是较高。

        CMOS图像传感器工作示意图如下，每个像元独立产生电压，可迅速输出：

CCD和CMOS的主要区别

       CCD像元产生的电荷，需要先寄存在垂直寄存器中，然后分行传送到水平寄存器，最后单独依次测量每个像元的电荷并放大输出信号。而CMOS传感器，则可以在每个像元中产生电压，然后通过金属线，传送到放大器输出，速度更快。

• CCD传感器是一种电荷传输装置，通过逐行读取像素点的光信号，并将信号转化为电荷信号存储在暂存器中，最后再将电荷转换为数字信号输出。CCD传感器的优点是低噪声、高灵敏度、高动态范围，适用于对图像质量要求较高的场合。
• CMOS传感器采用的是并行读取像素点的光信号，并将信号转化为数字信号输出。CMOS传感器的优点是低功耗、成本低、集成度高，适用于对成本和功耗有限制的场合。

       当前CCD在性能方面仍然要优于CMOS。但随着CMOS图像传感器技术的不断进步，在其本身具备的集成性、低功耗、低成本的优势基础上，噪声与敏感度方面有了很大的提升，与CDD之间的距离在不断缩小。

黑白相机与彩色相机

• 黑白相机

        当光线照射到感光芯片时，光子信号会转化为电子信号由于光子的数量与电子的数量成比例，主要统计出电子数目能够形成反应光线强弱的黑白图像。经过相机内部的微处理器处理，输出就是一幅数字图像。在黑白相机中，光的颜色信息是没有被保留的。

                 

• 彩色相机

        为了获得彩色图像，通常使用三棱镜或滤光片的方法采集颜色信息。

        三棱镜模式：采用三棱镜将射入的光分成三束，每束光都由不同的内置光栅来过滤出某一种三原色，然后使用三块CCD分别感光。然后再将这三张图像合成一张高分辨率、色彩精确的图像。由于该方法需要三块感光芯片，造价比较昂贵。

        如果考虑到价格，Bayer提出了一种廉价的折中方案：只用一块图像传感器，就解决了颜色的识别。他的做法是在图像传感器前面，设置一个滤光片，上面布满了滤光点，与下层的像素一一对应。如下图，Bayer滤光片上的滤光点的排列是有规律的：每个绿点的四周，分布着2个红点、2个蓝点、4个绿点。由于人眼对绿色最为敏感，所以绿色是红、蓝的两倍。

                   

        由于每个滤光点只能通过红、绿、蓝之中的一种颜色，但是在输出时，所有像素都应该有这 三种颜色的信息，被滤除的两种颜色分量值在后期的算法处理中通过插值法来补回。

           

        依照滤光点的排列顺序，bayer格式可以分为：GBGR\GRBG\RGGB\BGGR，后续文章对其进行专门的介绍。

       

        Bayer滤光片的方法显著优点在于它能节省成本，当前绝大多数彩色相机都采用此项技术。不过，黑白相机采集的是所有波长的光子，而Bayer彩色相机仅接受RGB三个波段的光子，并且会做一个去马赛克的邻域平均操作，因此无论是光通量还是细节表现均弱于灰度相机：

Sensor种类

     FSI

     除了分类为CCD和CMOS，其实当前CMOS还分为传统前照式CMOS（FSI）和背照式CMOS（BSI）：

               

         传统的CMOS是图中左边的“前照式”结构，一般的CMOS像素都由以下几部分构成：片上透镜（microlenses）、彩色滤光片（On-chip color filters）、金属排线（电路层）、光电二极管（Photodiodes）以及基板。当光线射入像素，经过了片上透镜和彩色滤光片后，先通过金属排线层，最后光线才被光电二极管接收。

         金属排线这层光线就会被部分阻挡和反射掉，由于工艺限制，光在穿过金属电路层后，到达光电二极管时只有70%或更少；而且这反射还有可能串扰旁边的像素，导致颜色失真。

      BSI 

         由于前照式有这些缺点，那么背照式（Back-Illuminated CMOS）的设计就应运而生了。它将电路层放到了光电二极管后面，这样，光线就能直接照到光电二极管上，光线几乎没有阻挡和干扰地就下到光电二极管，光线利用率极高，所以背照式CMOS传感器能更好的利用照射入的光线，在低照度环境下成像质量也就更好了。

              

         背照式CMOS能够具有更高的光线利用效率，这样，在低照度环境下，就具有更高的灵敏度。同时，由于电路不会影响光电二极管接收光线，因此，电路层可以做得更厚，这样就能放置更多的处理电路，这有助于提高信号的处理速度。相比起普通的前照式传感器，搭载背照式传感器的设备能够在弱光环境下，提高约30%—50%的感光能力，因此能够在弱光下拍摄更高的质量的照片或视频，噪点更小。而更丰富的处理电路，能做更大数据量的原始图像信号处理。

           但在实际运用时，我们发现BSI因为引入大角度光，会导致细节发蒙不清晰，这是需要搭配去大角度杂光的镜头！！！

    Sensor厂商

        具体介绍可参照：图像传感器的市场状况和主要厂商_市场数据_市场观察_仪商网

           

下一篇文章将会对sensor的参数、指标进行分享。

文章参考

1、工业相机成像系统详解：综述 - 知乎

2、工业相机成像原理_工业相机不用镜头也可以成像-CSDN博客

3、全球摄像头镜头主要厂商（TOP 14）_cmos镜头工厂-CSDN博客

4、堆栈式 CMOS、背照式 CMOS 和传统 CMOS 传感器的区别 - 知乎