揭开可拍照手机图像处理“魔术”的秘密

在可拍照手机中每个漂亮照片的背后，都有大量的电子/光学/机械处理“魔术”在上演着。而用户通常不留意这些处理“魔术”，因为它们静悄悄且不为人注意地进行着。本文讨论用一个可拍照手机内的CMOS传感器生成一个优异图像所面临的各种挑战。

图1：一个数码相机的机械示意图，其光学系统和一个常规胶片相机的光学系统基本一致。

图像的生成

在一个胶片相机中，通过一个光学系统采集的光照射在一段胶片上，胶片经过曝光以及随后的化学冲洗过程。而在数码相机中，光依然是穿过一个带 有多元件镜头和镜头筒的光学系统，不过此时这些光是照射在一个传感器行列阵上，该传感器阵由几百万个微小图像元素即像素组成。图1是一个数码相机的机械示 意图。

当光照射到该像素阵列上，穿过一个色彩滤波器阵列，确保只有蓝色、红色或绿色光真正到达适当的像素上。在每个像素上生成一个模拟信号，它再经过一个ADC被变换成一个数字信号。该信号随后穿过一个被称为图像管道(即I-Pipe)的部件，该部件由一系列使信号看起来像一幅真实照片的电子滤波器构成。

I-Pipe调整白色平衡和色彩，并消除由拍照方法本身引入的某些异常。这些异常包括镜头阴影、几何失真、偏离镜头中心的照片跑焦模糊和数字传感器噪声。安捷伦的I-Pipe还把该图像压缩成JPEG格式以便生成可迅速写入一个存储媒介的容量小且精确的压缩图像。

对光进行预处理

一个吸收性或反射性红外滤波器被用来阻止780纳米以上的红外辐射，而只让光谱的可见光部分通过。这确保图像传感器只关注人眼将看到的东西，并对色彩的完整度进行优化。如果不以这种方式截断红外光，它就可能引起模糊并降低镜头所拍图像的清晰度。

图2：人眼对绿色的敏感度是对红色和蓝色的两倍。Bayer色彩滤波器采用一行蓝色和绿色滤波器与一行红色和绿色滤波器相交替，使得绿色像素是蓝色、红色像素的两倍。

一个微镜头还用来预处理下落光，以便这些光被尽可能地折射进垂直方向的像素中。该微镜头提高了该像素的感光度，它通常位于色彩滤波阵列的正上方。

色彩滤波器阵列——Bayer滤波器

光电二极管对亮度很敏感但对色彩不敏感。因而，必须采用某种机制，通过人工调整使其对特定的色彩敏感，以便这些色彩可以最终能够展现在人眼前。一个色彩滤波器阵列可用来确保每个传感器像素接收到的只是一种颜色的光：典型的是红色、蓝色或绿色。

有多种不同的模式可用于色彩滤波器阵列。基于人眼感觉颜色的方式，以及人眼对绿色的敏感度是对红色和蓝色敏感度的两倍这个事实，意味着为了 模仿人眼感觉，相机需要更多的绿色像素。在图2所示的Bayer模式中，一行蓝色和绿色滤波器与一行红色和绿色滤波器相交替，其结果是所具有的绿色像素比 蓝色和红色多出一倍。Bayer滤波器的原始输出是一个亮度不同的蓝色、绿色和红色像素组成的马赛克图，其亮度变化取决于照射在一个特定像素上的光亮度。

去马赛克效应和白色平衡

当该色彩滤波器阵列生成一个图像时，四个独立的像素决定一个单一像素的颜色。这形成一个看起来不像真实图像的分离色彩马赛克图。除非通过一种去马赛克效应的算法，利用目标像素最靠近的若干像素颜色值的平均来接近目标像素的真正颜色。

图3：一个微镜头用于把进入像素的光线尽可能折射到垂直方向上。较高端的传感器采用一个辅助的微镜头把这个光再次弯曲，进一步下移像素，从而把窜入邻近像素并引起窜扰噪声的几率降到最低。

不加任何修正的话，日光灯下拍摄的一张图片也许看起来太绿，而日落时户外拍摄的一张图片也许看起来就会有些偏橙色。自动白色平衡(AWB)修正确保图像中的白色对观看者来说看起来是真正的白色。

图像复原：去除有害的干扰

在CMOS或CCD传感器中，有几个噪声源加到图像上，必须将它们去除或者至少是削弱。这些噪声源是：

1.固定模式噪声，它在每张图片中产生相同的噪声模式。减弱这个固定模式噪声的方法是：通过相机取一个“暗曝光”读数(即没有光照下的曝光)，并随后去减一个正常曝光值。该暗状态的输出电流是没有光照条件下产生的平均输出电流，并将包含光电二极管的漏电流。

2.随机噪声，它可能由环境温度变化引起。一个较高的温度通常会引起更多的电子离开其轨道并在传感器中产生随机噪声信号。传感器电路的散热使其进一步恶化。如果夏天时把可拍照手机放在一辆汽车中，那么它所拍照片的噪声将比在一个带空调建筑物内所拍照片的噪声高得多。

3.像素窜扰，在进入一个像素的光窜到一个邻近像素时，就会产生一片“混浊”，比如说当一个红色像素使其红光窜入一个邻近的蓝色像素时，就会导致蓝色像素中的信号不正常地增强，而红色像素中的信号的图像信息则丢失。

高端传感器采用一个辅助的微镜头把这个光再次弯曲，进一步下移像素，从而把窜入邻近像素并引起窜扰噪声的几率降到最低。

图4：一个完整成像系统的框图，图中显示了对来自图像传感器的原始输出所采取的各种形式的处理。

像素的个数只是信息捕捉能力的一个衡量。一般来说，一个较大像素的信噪比会比一个较小像素的要高，因为它有更多的面积来采集光，从而捕捉到更多的光子，因而相对于所存在的总噪声，所产生的有用信号更大。

敏捷的缺陷修正

在一个传感器上总会有一些像素不符合制造工艺，它们存在光学瑕疵和电气缺陷。这可能产生视觉效果的不理想，导致对入射光的不一致或非线性响应。

I-Pipe确定一个像素是否有缺陷的做法是测量其输出，然后将它同邻近几个像素的平均值进行对比。如果差值大于一个特定的容限，那么该像 素就“标记”成缺陷像素，其输出就不再有效。在目标像素位置的缺陷像素输出值可以通过邻近各像素的输出值进行内插获得，然后对其求平均，作为该缺陷目标像 素的一个替代输出。

改善退化的图像分辨率或清晰度

迄今为止，我们已经明白光线是如何穿过一个光学镜头、一个Bayer阵列以及一个或多个微镜头。随后通过去马赛克效应、内插、抗晕影、缺陷 修正等技术重新生成一个人们熟悉的图像。完成这么多“非自然的”电子动作会导致最终图像的清晰度比原有的要差。而原有的更逼真的清晰度可以通过给输出加入 一部分高通信号(即只有高频)来获得。噪声锐化可以减小或增加，这取决于实际加入的高频信号的量。

晕影修正

晕影是由于镜头和镜头筒的缘故在图片边沿产生的阴影或黑影。晕影修正技术通过把边角的亮度比修正到图片中心处的亮度比，弥补了这个缺陷。

改善图像的后处理增强功能

通过提高明暗区域的对比度可以改善图像效果，从而改善所感知的图像的丰满度和色彩质量。安捷伦公司在其CMOS图像传感器内采用了一种名为 自适应色彩调和映射的技术，通过扩展动态范围来产生更真实、更丰富的色彩。边缘图像采用自适应色彩调和映射技术，通过自动调整色彩调和映射来改善亮度和对 比度。这一技术提高了明暗区域的对比度，修补欠曝光和过曝光的图像，从而产生更明亮逼真的色彩重现。

完整的成像系统

在一个完整的成像系统(图4)中，可以看到I-Pipe图像处理的各个阶段。即在图像输出到显示器或存储到存储器之前，图像信号必须经过净化、成形和放大处理。

作者：Feisal Mosleh

传感器解决方案部战略行销经理

原安捷伦科技公司半导体部(现独立为Avago Technologies)