Camera ISP简述

ISP 简介     

        景物通过镜头(Lens)生成的光学图像投射到传感器表面上，传感器会将接收到的光学信号转换成模拟电信号，后面再经过模\数转换成为数字信号， 但是这时候得到的数据与人类预期的图还有很大的差异，所以还需要再进行ISP的处理。

        ISP(Image Signal Processor)， 即图像信号处理， 主要作用是对前端图像传感器输出的数字信号做后期处理，使得最后能够生成人类预期的图片质量。

ISP 处理算法

      ISP是一个流程，它内部包含多个图像算法处理模块，下面简单介绍一下比较有代表性的ISP 处理模块。

DPC(Defective Pixel Correction):

        坏点校正。由于感光元件芯片自身工艺技术瑕疵、光线采集存在缺陷的因素，导致有些像素点不能正常工作。DPC的作用就是将这些坏点进行矫正，让画面恢复正常。

BLC（Black Level Correction）

       黑电平校正。 受Sensor端有暗电流和AD转换前加了一个基准值这两个因素的影响，会使得把镜头放入一个全黑的环境中时，即使没有光线照射，Sensor输出的原始数据也不为0，输出的图像会是灰的；而我们其实希望全黑的环境下的原始数据为0，即黑的就是黑的。BLC就是要对图像图像进行这样的校正，使得黑的就是黑的。

LSC(Lens Shading Correction)

         镜头阴影校正。lens即镜头，镜头可以简单理解为是一个凸透镜，有往中心聚光的作用，这会引起Luma shading和color shading。Luma shading就是中心和四角之间亮度不一致(中间比四周量亮很多)；color shading就是中心和四周颜色不一致，体现出来一般为中心或者四周偏色。所以lens shading的本质就是光学中心到边缘的衰减，所以LSC这个校正的本质就是找到一个gain值，用该点的像素值乘以这个gain值，让其恢复到衰减前的状态。

AWB（Automatic White Balance）

       人类视觉系统具有颜色恒常性的特点，因此人类对事物的观察可以不受到光源颜色的影响，不论是晴天、阴天、室内白炽灯或日光灯下，人们所看到的白色物体总是是白色的，这就是视觉修正的结果。人脑对物体的颜色有一定先验知识，可识别物体并且更正这种色差，但是图像传感器本身并不具有这种颜色恒常性的特点，因此，其在不同光线下拍摄到的图像，会受到光源颜色的影响而发生变化。例如在晴朗的天空下拍摄到的图像可能偏蓝，而在烛光下拍摄到的物体颜色会偏红。

        因此，为了消除光源颜色对于图像传感器成像的影响，自动白平衡功能就是模拟了人类视觉系统的颜色恒常性特点来消除光源颜色对图像的影响的，不同色温光线条件下白色物体，Sensor的输出都转换为更接近白色。

Demosaic

       去马赛克，将图像由Bayer格式转换成RGB格式。因为Bayer数据所反映的颜色信息不是真实的颜色信息，Demosaic的目的就是通过插值算法就是在Bayer数据基础上，恢复出每个pixel完整的RGB数据，得到RGB的图。前面提过Bayer排列方式的图，看起来就像是mosaic一样，所以这个操作叫Demosaic

CCM(Color Correction Matrix)

       色彩校正矩阵。由于人类眼睛可见光的频谱响应度和图像传感器频谱响应度之间存在差别，还有透镜等因素的影响， 得到的RGB 值颜色会存在偏差， 因此必须对颜色进行校正。AWB在前面主要是矫正了白色，相应的其他色彩也跟着有一些变化。CCM就是保持白色不变，将其他色彩校正成真实的颜色，它通常在RGB域进行，并在AWB之后。

Gamma Correction

           Gamma校正。 人眼对外界光源的感光值与输入光强不是呈线性关系的，而是呈指数型关系的。在低照度下，人眼更容易分辨出亮度的变化，随着照度的增加，人眼不易分辨出亮度的变化。而摄像机感光与输入光强呈线性关系，为方便人眼辨识图像，需要将摄像机采集的图像进行gamma 矫正

          Gamma校正就是对图像像素的灰度值做一个非线性的映射，以提高动态范围，增强对比度。