ISP（Image Singal Process）算法

一

ISP（Image Singal Process）算法广泛应用于安防监控，汽车电子等等一系列产品中。ISP主要算法包括：3A---[AWB(自动白平衡)，AE(自动曝光)，AF(自动对焦)]，CFA插值，暗角补偿，坏点检测，2D/3D去噪,锐化，VDE，Color Matrix，图片缩放，数字宽动态，伽马矫正等等一系列图像处理算法.

       所有这些算法的最终目的都是使图像看上去更清晰，更好，使人们看上去有一个更好的感受。那么学习ISP算法需要哪些知识呢？其实也就是一些最基本的图像处理方面的知识，如：图像色彩空间：RGB，YUV，LAB，XYZ，HSV空间等等。在研究算法的时候，只要多动脑多查资料，相信都会有一个好的收获。

二

图像分析中，图像质量的好坏直接影响识别算法的设计与效果的精度，因此在图像分析（特征提取、分割、匹配和识别等）前，需要进行预处理。图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性、最大限度地简化数据，从而改进特征提取、图像分割、匹配和识别的可靠性。一般的预处理流程为：1灰度化->2几何变换->3图像增强

1灰度化

       对彩色图像进行处理时，我们往往需要对三个通道依次进行处理，时间开销将会很大。因此，为了达到提高整个应用系统的处理速度的目的，需要减少所需处理的数据量。在图像处理中，常用的灰度化方法：1.分量法2.最大值法3.平均值法4.加权平均法

2几何变换

        图像几何变换又称为图像空间变换，通过平移、转置、镜像、旋转、缩放等几何变换对采集的图像进行处理，用于改正图像采集系统的系统误差和仪器位置（成像角度、透视关系乃至镜头自身原因）的随机误差。此外，还需要使用灰度插值算法，因为按照这种变换关系进行计算，输出图像的像素可能被映射到输入图像的非整数坐标上。通常采用的方法有最近邻插值、双线性插值和双三次插值。

3图像增强

       增强图像中的有用信息，它可以是一个失真的过程，其目的是要改善图像的视觉效果，针对给定图像的应用场合，有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果，满足某些特殊分析的需要。图像增强算法可分成两大类：空间域法和频率域法。

3.1空间域法

       空间域法是一种直接图像增强算法，分为点运算算法和邻域去噪算法。点运算算法即灰度级校正、灰度变换（又叫对比度拉伸）和直方图修正等。邻域增强算法分为图像平滑和锐化两种。平滑常用算法有均值滤波、中值滤波、空域滤波。锐化常用算法有梯度算子法、二阶导数算子法、高通滤波、掩模匹配法等。

3.2频率域法

        频率域法是一种间接图像增强算法，常用的频域增强方法有低通滤波器和高通滤波器。低频滤波器有理想低通滤波器、巴特沃斯低通滤波器、高斯低通滤波器、指数滤波器等。高通滤波器有理想高通滤波器、巴特沃斯高通滤波器、高斯高通滤波器、指数滤波器。

三

ISP(Image Signal Processor)，即图像处理，主要作用是对前端图像传感器输出的信号做后期处理，主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等，依赖于ISP才能在不同的光学条件下都能较好的还原现场细节，ISP技术在很大程度上决定了摄像机的成像质量。它分为独立与集成两种形式。

下图是图像信号处理主要流程：

（1）黑电平校正（暗电流校正）  

暗电流指传感器在没有入射光的情况下，存在一定的信号输出，这是由于半导体的热运动造成的，它的大小和传感器结构及温度有关，大概每升高9 ℃，其暗电流会增加1 倍。由于每个像素存在不平衡性，因此像素间暗电流也会不一致，造成电流噪声。一般情况下，在传感器中，实际像素要比有效像素多，像素区最靠边的行和列为不感光区，一般用作自动黑电平校正，其平均值作为校正值。

（2）颜色插补

原始像素只包含一种颜色的信息（R 或G 或B），要重建色彩画面，就必须从相邻的像素中得到失去的信息。红色及蓝色插补一般遵循最近原则，进行平均处理，作为本像素的色彩值，由插值原理知，相邻像素间存在依赖关系，结果造成画面锐度降低。

（3）颜色校正 

由于人类眼睛可见光的频谱响应度和半导体传感器频谱响应度之间存在差别，还有透镜等的影响，插补后得到的RGB 值颜色会存在偏差，因此必须对颜色进行校正，一般通过颜色校正矩阵来实现。具体的彩色矫正参数，可以通过试验或从传感器供应商中获得，当然要得到不失真的还原是不可能的，只能反复调试达到最佳。一般通过标准色卡进行校正。

（4）Gamma 校正

Gamma 校正主要依据色度学原理进行调整，色彩在不同显示设备中频谱响应度不一样，造成颜色失真。失真成幂指数关系，因此调节相对简单，分别对R、G、B 调节即可。

（5）RGB2YUV 转换

        Y ＝16 ＋（0. 257 × R ＋0. 504 × G ＋0. 098 × B）

        Cb ＝128 ＋（－0. 148 × R－0. 291 × G ＋0. 439 × B）

        Cr ＝128 ＋（0. 439 × R－0. 368 × G－0. 071 × B）

（6）自动白平衡处理

如果使用过没有白平衡的数码相机，会发现荧光灯的光人眼看起来是白色的，但用数码相机拍摄出来却有点偏绿。同样，如果在白炽灯下，拍出图像的色彩就会明显偏红。人类的眼睛之所以把它们都看成白色，是因为人眼进行了修正。由于图像传感器本身没有这种功能，因此有必要对它输出的信号进行一定的修正，这种修正叫作白平衡。 

白平衡控制通过图像色彩调整（一般调节R、B 增益实现），使在各种光线条件下拍摄出的照片色彩和人眼所看到的景物色彩完全相同。从理论上我们知道，随着色温的升高，要对色温进行较正，否则，物体在这样的光线条件下所表现出来的颜色就会偏离其正常的颜色，因此需要降低 sensor对红色的增益，增加sersor对蓝光的增益。同时在调整参数时一定程度上要考虑到整体亮度的要保持大致的不变，即以YUV来衡量时，Y值要 基本保持不变，理论上认为可以参考RGB->YUV变换公式中，RGB三分量对Y值的贡献，从而确定RGAIN和BGAIN的变化的比例关系。但实 际情况比这还要复杂一些，要考虑到不同sensor对R,B的感光的交叉影响和非线性，所以最佳值可能和理论值会有一些偏差。

白平衡的实现一般有手动和自动两种模式，当然对于摄像机主要以自动白平衡为主。自动白平衡一般基于“ Grey World” 假设，调节R、B 的增益，在选定参考白平衡区域内达到R、G、B 相等。自动白平衡是基于假设场景的色彩的平均值落在一个特定的范围内，如果测量得到结果偏离该范围，则调整对应参数，校正直到其均值落入指定范围。该处理过程可能基于YUV空间，也可能基于RGB空间来进行。对于Sensor来说，通常的处理方式是通过校正R/B增益，使得UV值落在一个指定的范围 内。从而实现自动白平衡。这种假设在很多场合可以达到很好的效果，但由于无法得到场景光源的所有信息，因此自动白平衡效果有时并不让人满意，此时可以让用户自己定义一个点火区域作为参考点，也有用白平衡感测器来实现的。

白平衡对色彩效果影响很大，一个好的算法能够使色彩效果更逼真，也可以利用白平衡达到艺术效果。

（7）自动曝光、AE 评估

自动曝光，简单地说就是自动控制曝光时间，达到曝光恰到好处的效果。曝光过度，图像传感器就会产生溢出，造成对比度下降，动态灵敏度降低。曝光不够，同样会造成对比度下降，动态灵敏度降低，信噪比下降，画面效果不好。因此在不同的场景必须对曝光时间进行控制。

自动曝光主要是对某可选区域内画面亮度分量（y 信号）进行评估，若y 偏小，增大曝光量，反之减少。

感光宽容度

从最明亮到最黑暗，假设人眼能够看到一定的范围，那么胶片（或CCD等电子感光器件）所能表现的远比人眼看到的范围小的多，而这个有限的范围就是感光宽容度。

人眼的感光宽容度比胶片要高很多，而胶片的感光宽容度要比数码相机的ccd高出很多！了解这个概念之后，我们就不难了解，为什么在逆光的条件 下，人眼能看清背光的建筑物以及耀眼的天空云彩。而一旦拍摄出来，要么就是云彩颜色绚烂而建筑物变成了黑糊糊的剪影，要么就是建筑物色彩细节清楚而原本美 丽的云彩却成了白色的一片再看人眼的结构，有瞳孔可以控制通光量，有杆状感光细胞和椎状感光细胞以适应不同的光强，可见即使人眼有着很高的感光宽容度，依然有亮度调节系统，以适应光强变化。

那么对于camera sensor来说，正确的曝光就更为重要了！

自动曝光和18%灰

对于sensor来说，又是如何来判断曝光是否正确呢？很标准的做法就是在YUV空间计算当前图像的Y值的均值。调节各种曝光参数设定（自动或手动），使得该均值落在一个目标值附近的时候，就认为得到了正确的曝光。

那么如何确定这个Y的均值，以及如何调整参数使得sensor能够将当前图像的亮度调整到这个范围呢？

这就涉及到一个概念 18%灰，一般认为室内室外的景物，在通常的情况下，其平均的反光系数大约为18%，而色彩均值，如前所述，可以认为是一种中灰的色调。这样，可以通过对 反光率为18%的灰板拍摄，调整曝光参数，使其颜色接近为中等亮度的灰色（Y值为128）。然后，对于通常的景物，就能自动的得到正确的曝光了。

当然这种自动判断曝光参数的AE功能不是万能的，对于反光率偏离通常均值的场景，比如雪景，夜景等，用这种方法就无法得到正确的曝光量了。所以在sensor的软件处理模块中，通常还会提供曝光级别的设定功能，强制改变自动曝光的判断标准。比如改变预期的亮度均值等。

曝光级别设定

在多数数码相机和拍照手机上都可以看到曝光级别设定的功能，如前所述，这种设定实际上是在自动曝光的基础上给用户提供一定的曝光控制能力，强制改变camera sensor的曝光判断标准，获得用户想要的效果。

通常的做法就是改变Y值均值的预期值，使得sensor在自动曝光时以新的Y预期值为目标，自动调整Exptime 和 AG。

曝光参数的调整

曝光强度的调整，可以通过改变曝光时间，也可以通过改变亮度增益AG来实现。

曝光时间受到桢频的限制，比如摄像时要求15帧每秒的话，这时候曝光时间最长就不能超过1/15s，可能还有别的条件限制，实际的曝光时间还要短，在光线弱的情况下，单独调整曝光时间就无法满足帧频的需要了。

这时候还可以调整增益AG，来控制曝光的增益，降低曝光时间。但是，这样做的缺点是以牺牲图像质量为代价的，AG的增强，伴随的必然是信噪比的降低，图像噪声的增强。

所以，以图像质量为优先考虑的时候，曝光参数的调节通常是优先考虑调节曝光时间，其次在考虑曝光增益。当然曝光时间也不能过长以免由于抖动造成图像的模糊，而在拍摄运动场景时，对曝光时间的要求就更高了。

（8）其他知识

抗噪处理

AG 的增大，不可避免的带来噪点的增多，此外，如果光线较暗，曝光时间过长，也会增加噪点的数目（从数码相机上看，主要是因为长时间曝光，感光元件温度升高， 电流噪声造成感光元件噪点的增多），而感光元件本身的缺陷也是噪点甚至坏点的来源之一。因此，通常sensor集成或后端的ISP都带有降噪功能的相关设 置。

A、启动时机

根据噪点形成的原因，主要是AG或Exptime超过一定值后需要启动降噪功能，因此通常需要确定这两个参数的阙值，过小和过大都不好。

从下面的降噪处理的办法将会看到，降噪势附带的带来图像质量的下降，所以过早启动降噪功能，在不必要的情况下做降噪处理不但增加处理器或ISP的负担，还有可能适得其反。而过迟启动降噪功能，则在原本需要它的时候，起不到相应的作用。

B、判定原则和处理方式

那么如何判定一个点是否是噪点呢？我们从人是如何识别噪点的开始讨论，对于人眼来说，判定一个点是噪点，无外乎就是这一点的亮度或颜色与边上大 部分的点差异过大。从噪点产生的机制来说，颜色的异常应该是总是伴随着亮度的异常，而且对亮度异常的处理工作量比颜色异常要小，所以通常sensor ISP的判定原则是一个点的亮度与周围点的亮度的差值大于一个阙值的时候，就认为该点是一个噪点。

处理的方式，通常是对周围的点取均值来替代原先的值，这种做法并不增加信息量，类似于一个模糊算法。

对于高端的数码相机，拥有较强的图像处理芯片，在判定和处理方面是否有更复杂的算法，估计也是有可能的。比如亮度和颜色综合作为标准来判定噪 点，采用运算量更大的插值算法做补偿，对于sensor固有的坏点，噪点，采用屏蔽的方式抛弃其数据（Nikon就是这么做的，其它厂商应该也如此）等 等。

C、效果

对于手机sensor来说，这种降噪处理的作用有多大，笔者个人认为应该很有限，毕竟相对数码相机，手机sensor的镜头太小，通光量小，所 以其基准AG势必就比相机的增益要大（比如相当于普通家用数码相机ISO800的水平），这样才能获得同样的亮度，所以电流噪声带来的影响也就要大得多。 这样一来，即使最佳情况，噪点也会很多，数据本身的波动就很大，这也就造成我们在手机照片上势必会看到的密密麻麻的花点，如果全部做平均，降低了噪点的同 时，图像也会变得模糊，所以手机噪点的判断阙值会设得比较高，以免涉及面过大，模糊了整体图像。这样一来一是数据本身就差，二是降噪的标准也降低了，造成 总体效果不佳。

数码变焦

数码变焦可以有两种形式：

其一，是通过插值算法，对图像进行插值运算，将图像的尺寸扩大到所需的规格，这种算法就其效果而言，并不理想，尤其是当使用在手机上的时候，手 机上的摄像头本身得到的数据就有较大的噪声，再插值的话，得到的图像几乎没法使用。实际上，即使是数码相机的数码变焦功能也没有太大的实用价值。如果插值 算法没有硬件支持，则需要在应用层实现。

其二，其实是一种伪数码变焦的形式，当摄像头不处在最大分辨率格式的情况下，比如130万像素的sensor使用640*480的规格拍照时， 仍旧设置sersor工作在1280*960的分辨率下，而后通过采集中央部分的图像来获取640*480的照片，使得在手机上看来所拍物体尺寸被放大了 一倍。也有很多手机采用的是这种数码变焦方式，这种办法几乎不需要额外的算法支持，对图像质量也没有影响，缺点是只有小尺寸情况下可以采用。此外在DV方 式下也可以实现所谓的数码变焦放大拍摄功能。（这应该是一个卖点，对Dv来说，这种数码变焦还是有实际意义的）。要采用这种变焦模式，驱动需要支持windowing功能，获取所需部分的sensor图像数据。

工频干扰

A、何谓频闪

日常使用的普通光源如白炽灯、日光灯、石英灯等都是直接用220/50Hz交流电工作，每秒钟内正负半周各变化50次，因而导致灯光在1秒钟内发生100（50×2）次的闪烁，再加上市电电压的不稳定，灯光忽明忽暗，这样就产生了所谓的“频闪”。

因为人眼对光强变化有一定的迟滞和适应性，所以通常看不出光源的亮度变化。但是依然还是会增加眼睛的疲劳程度。所以市场上才会有所谓的无频闪灯销售。

B、对频闪的抑制

对于camera sensor来说，没有人眼的迟滞和适应过程，所以对光源亮度的变化是比较敏感的。如果不加抑制，在预览和DV模式下，可能会有明显的图像的明亮变化闪烁的现象发生。

 如何解决呢？考虑到频闪的周期性，在一个周期内，光源亮度的累积值，应该是大体一致的，所以，如果控制曝光的时间是频闪周期的整倍数，那么每一帧图像的亮度就大体是一致的了，这样就可以有效地抑制频闪对图像亮度的影响。

所以，在自动曝光的模式下，sensor会根据频闪的频率，调整曝光时间为其周期的整倍数。 因为各地的交流电的频率不同，所以有50Hz/60Hz之分。

在具体设置相关Sensor寄存器的时候，要根据电流频率和sensor的时钟频率，分辨率等，计算出频闪周期对应的时钟周期数等。