计算摄像技术03 - 数字感光器件

最新推荐文章于 2024-08-24 12:46:37 发布

Clock_926

最新推荐文章于 2024-08-24 12:46:37 发布

阅读量272

点赞数

分类专栏：机器视觉与图像处理文章标签： matlab 计算机视觉视觉检测图像处理算法人工智能数码相机

本文链接：https://blog.csdn.net/2301_76660661/article/details/133801168

版权

机器视觉与图像处理专栏收录该内容

13 篇文章 6 订阅

订阅专栏

一些计算摄像技术知识内容的整理：感光器件的发展过程、数字感光器件结构、数字感光器件的指标。

一、感光器件的发展过程

在计算摄像学发展的过程中，数字感光器件起到了非常重要的作用。第一张永久性照片拍摄于1826 年，是由法国人约瑟夫• 尼塞福尔•尼埃普斯 (Joseph Nicephore Niepce）拍摄的，叫作《窗外》，也叫《鸽子窝》，记录的是从他家楼上看到的窗户外的场景。当时，尼埃普斯拍摄所用的感光物质是沥青加上薰衣草油，它的片基是铅锡合金板。

CCD的特性是利用交互变化的电压在半导体表面传递电荷。大多数重要科技发明都需要经过一段时间的酝酿才能形成真正能用的装置，然而CCD 的发明却是个意外，从概念的提出到得到可用的系统仅仅只用了几个月的时间，到大规模使用只用了几年的时间。

第一个数字感光器件于 1969 年在贝尔实验室诞生，是由物理学家维拉博伊尔 (Wilard S. Boyle）以及乔治史密斯（George E. Smith）发明的。当时，博伊尔和史密斯发明一种被命名为“电荷’气泡‘元件” 的装置，在光电效应的激发下，该器件表面产生电荷，从而组成数位影像。在1974 年，他们用 CCD (charge-coupled device，电荷耦合器件）制作了一个分辦率为 100 像素×100 像素的摄像机。作为CCD 的发明者，他们于 2009 年获得诺贝尔物理学奖。Fairchild Semiconductor（1974）发布了第一个商用器件——线性500元件器件，是一种2D的100x100像素器件。之后，索尼公司在岩间和夫的领导下首次大规模生产摄像机用CCD传感器。

另外一种数字感光器件是 CMOS (complementary metal oxide semniconductor，互补式金属氧化物半导体），这是一种制备芯片的工艺。CCD 一般是采用 TTL 工艺（Transistor-Transistor-Logic，以BJT晶体管为主制作成的集成电路）制备的。而采用CMOS 工艺制备的感光器件俗称为 CMOS。

CMOS 的功耗低，可以把图像采集单元与信号处理单元集成到同一块芯片上，便于大规模批量生产，极大降低了生产成本，适用于要求小尺寸、低价格的应用。现在普遍使用的手机、桌面式摄像机等要求低成本，所以大都采用了 CMOS 器件。随着 CMOS 技术的发展，在很多应用场合 CMOS 将会取代 CCD。

二、数字感光器件结构

CCD 和CMOS 都是利用感光二极管进行光电转换，将影像转换为数字信息，它们的主要差异是数字信号传送方式不同。

（1）CCD结构

CCD相机基于电荷耦合器件（CCD）技术。CCD是一个模拟移位寄存器，由一系列紧密间隔的电容器组成。它允许模拟信号（电荷）通过由时钟信号控制的连续级（电容器）传输，用于串行化光电光传感器阵列中的并行模拟信号。对于图像捕获，有一个由硅制成的光敏区域和一个透射区域，即CCD。

CCD 共分为三层：最上面一层是微透镜层，中间层是滤色层，最下面一层是感光层。

① 微透镜

微透镜层用于更好地收集光线，CCD 最上面的微透镜层相当于在感光层上加了一副眼镜，能够扩展单个像素的感光面积，而感光面积扩大多少取决于微透镜的表面积。简单来说，微透镜就是在每个 CCD 前面的一个往外凸出的部分，体积很小，肉眼几乎看不见。

② 滤光片

微透镜下面就是滤光片，或者叫滤色片（color filter），这种滤光片采用不同颜色的过滤纸放在感光器件的前面，能够滤掉不同颜色的光。例如，红色滤光片滤掉蓝色和绿色，只剩下红色光进到CCD 里面，绿色滤光片就是让绿色光进来，蓝色滤光片就是让蓝色光进来。人们从感光层得到同一个场景的三幅灰度图，分别对应场景的三个颜色通道，再利用颜色还原的方法就可以把三幅灰度图还原成关于这个场景的彩色图。

常用的滤光片有两种：

一种是RGB 原色分色法，就是由 RGB 三色交叉排列所组成的滤光片。这种滤光片的特点是画质锐利，色彩真实，但是噪声大。另一种是 Sony 公司生产的CCD 中常用的 CMYG 互补分色法，其中，C为青色、M为粉红色、Y为黄色、G为绿色，CMY 这三种颜色和RGB 是互补的，所以叫互补分色法。由 CMYG 四种颜色组成的滤光片对噪声的抑制能力强，而且多了一个黄色滤光片，在色彩的分辨上更加仔细，但却牺牲了部分影像的分辦率。

③ 感光层

滤光片的下面就是感光层。感光层是 CCD 的核心，它是由很多个感光二极管（photodiode）组成的。感光二极管负责把光子转化为电荷，感光二极管把光子转化成电荷后，这些电荷就暂时储存在并行奇存器中。并行寄存器存储的电荷，在特定时序的控制下传递到下面的串行寄存器中，再经过电荷到电压的转换、放大后传输到CCD控制电路板。

电荷传输模式

电荷在CCD 中的传输有几种模式，最常见的模式是行间传输 (interline transfer）模式。在行间传输模式中，感光二极管把光转换为电以后，信号传输到并行寄存器，再传送到串行寄存器，最后传到计算机系统。

电荷转移到屏蔽区。
列中的电荷向下移动一个单元。
然后移出一排电荷。

这种传输模式的特点是快速，即曝光和数据读出可同时进行，另外可采用软件控制的电子快门进行工作。但缺点是每个感光极管边上都有一个并行寄存器，这个寄存器占据了感光单元的面积，使每个像素感光面积减小。

相对应的还有一种模式是全帧传输模式，这种传输模式没有并行寄存器，感光二极管产生电荷，电荷转移到串行寄存器中，串行寄存器再经过放大、转换以后输出。这种传输模式信噪比高，因为每个像素的面积比行间传输模式感光面积大。但缺点是成像速度慢，必须借助机械快门控制放光量。

所有电荷向下移动到屏蔽区域。
然后移出每一行电荷。

其他常见的CCD传感器比如512x256光感受器阵列，是通过捕获光子检测光的设备（光感受器=光电探测器=光电传感器）。可能的受体为定制排列，例如类似于人类视网膜。含有低几何失真，程度取决于感光体的质量。像素传输速率高达每秒2000万像素，将电压信号数字化（处理）或转换为信号（直接监控）。NTSC彩色电视标准和PAL（相位交替线）是应用最广泛的彩色编码系统。

（2）CMOS结构

CMOS 的结构总体上和 CCD 类似，也包括三层：微透镜层、滤色层和感光层。CMOS 的微透镜层和 CCD 是一样的，但是滤色层与 CCD 略有不同，因为CMOS 采用的是 Bayer模式的滤光片。

Bayer模式与 CCD 的RGB 模式相近，由于在 Bayer 模式中比较强调绿色分量，它的绿色分量定义了两种，分别是 Gr 和 Gb。Bayer 模式的整个画面的亮度和色彩的控制主要靠绿色分量。

CMOS 的感光层结构与 CCD 的差别很大，它的核心器件还是感光二极管，但是在每个感光二极管边上，也就是在每个像素中，除了有感光二极管之外还包含一个放大器和一个 A/D 转换电路。所以，CMOS 中每个感光器件里面都包含—个感光二极管和三个晶体管，导致每个像素中感光面积更小。

在工艺上，CCD 与CMOS 也不同。

CCD 采用TTL工艺（Transistor-Transistor-Logic晶体管-晶体管逻辑电路，TTL电路是数字集成电路的一大门类，采用双极型工艺制造，相对于CMOS具有高速度高功耗和品种多等特点），CCD 采用总放大器。
CMOS 采用 CMOS 工艺，并且每个 CMOS 感光单元本身自带放大器。

CMOS 的这种结构好处就是 CMOS 可以采用并行模式读出，读出速度比较快。但是由于每个感光单元都有一个放大器，所以放大的效果难以达成一致。

① CMOS电子卷帘快门

CMOS 快门方式主要有两种：一种是最常见的电子卷帘快门(electronic rolling shuter)。目前，大多数 CMOS 传感器都采用这种快门。对于任一像素，在曝光开始时先将其清零，然后等待曝光时间过后，将信号值读出。因为数据的读出是串行的，所以清零、曝光、读出也只能逐行顺序进行，通常是从上至下。

但是在这种方式下，高速运动的物体会产生明显的变形。例如，如果数据的读出速度是每秒20帧，那么图像顶部和底部的曝光先后差异将多达 50ms。这样对于有些场景会产生不好的效果。比如，在某一时刻，画面上面偏暗下面偏亮，而到了下一时刻，画面变成上面偏亮下面偏暗，画面曝光的效果不一致。当然，这是在画面有非常明显的闪烁的情況下会产生的效果，一般情况下是没有这种效果的。再比如高速运动下的物体，整个场景可能会发生偏移。

② CMOS全局快门

另一种CMOS 快门方式是全局快门 (global shutter/snapshot shutter)。与电子卷帘快门相比，最主要的区别是在每个像素处增加了采样保持单元，在指定时间对数据进行采样，然后顺序读出，虽然读出的像素仍然在进行曝光，但存储在采样保持单元中的数据却并未改变。

但这种快门方式的缺点是增加了每个像素的器件数目，使得 CMOS 感光面比例降低了。

另外，采样保特单元还引入了新的噪声源，使得噪声也增加了。但是全局快门的 CMOS 更适合于拍摄高速运动的画面，如快速闪烁的闪光灯，或快速运动的物体。

所以，电子卷帘快门与全局快门总结来说：

卷帘快门传感器的曝光时间。曝光时间逐行不同，重置和读出发生在不同的时间。如果目标或相机运动，则此逐行曝光会产生图像失真。卷帘传感器为成像静态或缓慢移动的物体提供出色的灵敏度。
全局快门所有像素都同时开始和结束曝光，但读出仍然逐行进行。该定时产生没有失真或扭曲的图像。全局快门传感器对于高速移动物体成像至关重要。

传统的 CMOS 都是前照式结构。2008年，Sony公司推出一种新的 CMOS 接口，为背照式 CMOS。背照式 CMOS 把感光层的器件调转方向，让光能从背面直射进去，避免了传统 CMOS 传感器中的光线会受到微透镜和感光二极管之间的电路和晶体管的影响，从而显著提高感光效率，大大改善低光照条件下的拍摄效果。在改变了结构后，光线通过微透镜后就可以直接到达感光层的背面，完成光电转换，从进光量上改善了感光过程。而且由于感光二极管离微透镜层更近了，光线在传输过程中的损耗也就减少了，因而背照式 CMOS 比传统 CMOS 在灵敏度会上有质的飞跃，在低光照度下的画质有很大提升。

三、数字感光器件的指标

数字感光器件中比较重要的描述指标是感光度，它在很大程度上指示了传感器的优劣和性能。此外，还有一些衡量成像质量的其他指标。

（1）感光度

顾名思义，感光度就是指照相机对光线的敏感程度。无论是胶片相机时代还是数码相机时代，感光度都是用户衡量相机对光线感应程度的最直接的指标。在胶片相机时代，感光度主要用于测量胶卷对光线的敏感程度。为了规范不同厂家对胶卷感光度的描述，国际标准化组织ISO 在1974 年开始陆续制定了相关国际标准，包括 ISO 5800—2001、ISO 6—1993 、ISO 2240—2003，分别用于规范各类胶卷感光度的描述。

常见的感光度数值有 ISO 50、100、200、400、800、1600、3200 等。ISO 值越高，表示胶卷对光线越敏感；反之，胶卷对光线越不敏感。ISO 值与感光度呈线性关系。例如，ISO 100的胶卷对光线的敏感程度是 ISO 50 的胶卷的两倍。当在较脂的光线下拍摄时，需要使用 ISO 值更大的胶卷。

而在数码相机中，ISO 值定义了相机采集光线的能力。数码相机把照射到感光器件上的光转化为电信号进行处理。当电信号被放大时，ISO 值就会增加。ISO 值放大一倍，意味着电信号也放大一倍，进入感光器件的光线只需原来的一半，就可以实现同样的曝光效果。也就是说，如果ISO 值从100增加到 200，光圈保持不变，则只需要一半的曝光时间。

在暗的场景中拍照，为了提高照片亮度，摄影师往往会延长曝光时间，但会导致运动模糊。如果增加 ISO 值，则不需要延长曝光时间，即可减少运动模糊，这就是当光线较差时人们需要增加ISO 值的原因。相比于胶片相机，在数码相机中摄像师可以手动增加 ISO 值。但是 ISO 值调大之后，嗓声也会加大，图像的质量会产生下降。（ISO越大，噪声越大，图像越模糊）

（2）成像质量的衡量指标

衡量数字感光器件成像质量的指标有很多。

① 量子效率

第一个指标是量子效率 (quantum etticiency， QE)。所谓量子效率是指不同波长的光子撞击感光器件所产生的光电子与入射光子数量之比。QE 越高，代表感光性能越好。

CMOS 或 CCD 感光器件除了能感知可见光谱外，还可以感知部分近红外光，其感知的光谱范围为 400~1000nm。CMOS 能够感知绿光、红光、蓝光。不同的感光器件对不同光谱的量子效率也不一样。

② 采光方式

第二个指标是采光方式。普通的 CMOS 或 CCD 的采光方式是前照式，即光从正面经过透镜，经过滤色片再照到 CMOS 或者CCD 的感光层上。以CMOS 为例，从正面照射过来，CMOS 感光的部分只占到像元的 70%，还有 30%则被晶体管占据了，所以它的感光面积减少了。若采用背照式，光从背面射入，直接进入感光层的光子效率可达 80%。