Camera的学习笔记（二）——ISP

ISP概念：

ISP是Image Signal Processor的缩写，全称是影像处理器。在相机成像的整个环节中，它负责接收感光元件（Sensor）的原始信号数据，可以理解为整个相机拍照、录像的第一步处理流程，对图像质量起着非常重要的作用。

ISP功能简述：

ISP的功能比较杂，基本上跟图像效果有关的它都有份。它内部包含多个图像算法处理模块，其中比较有代表性的是：扣暗电流（去掉底电流噪声），线性化（解决数据非线性问题），shading（解决镜头带来的亮度衰减与颜色变化），去坏点（去掉sensor中坏点数据），去噪（去除噪声），demosaic（raw数据转为RGB数据），3A（自动白平衡，自动对焦，自动曝光），gamma（亮度映射曲线，优化局部与整体对比度），旋转（角度变化），锐化（调整锐度），缩放（放大缩小），色彩空间转换（转换到不同色彩空间进处理）等。

（1）BLC（Black Level Correction）/ Black Level Compensate (OBC) ：

黑电平校正。所谓黑电平就是在DNP下，将曝光时间和增益都调到最小时拍摄图片的亮度值，理想情况下应该是0，但是实际中因为sensor暗电流作用，全黑像素值大于0。（这一个值，在后面可能会受到AWBGain，CCM，Gamma的影响）。

产生原因：

CMOS是光电传感器，把光信号转换成电信号；但是，即使没有光照，器件由于受热影响，产生电子的扰动，进而也会产生电荷；在全黑的情况下，仍然会累积讯号，导致拍摄的全黑的影像不够黑

影响：

1,黑阶不够黑;

2,影像整体呈现雾状，不够通透;

3,影像产生色偏;

解决方法：

1、由Sensor本身在output raw 上减去对应的black level值。

2、由ISP本身在input raw 上减去对应的black level值。

（2）DPC/BPD（Defect Pixel Correction/Bad Pixel Detect）：

概念：

坏点校正/坏点检测，相机中成像坏点一般是白色或者黑色的点，和周围像素点的差异明显。

坏点：坏点一般是指sensor 制造过程中因为单个像素的电路异常而不能正常表现感光亮度，其表现形式为全黑的场景成像中单个白色和彩色的点，或者全白的情况下的黑点。

坏点如何检测：

通过比较模板中心像素周围像素的像素值差异来侦测坏点坏点。

如何校正：

用中心像素周围合适的候选像素值替代坏点像素。

DPC flow：

（3）LSC（Lens Shading Correction）/Color Shading ：

概念：

阴影校正;
Lens Shading 是由于镜片从边缘到中心对入射光线的反射程度不同，造成拍摄均匀亮度的画面，图像从中心到边缘亮度不均匀逐渐变暗。
Color Shading 是由于Lens从中心到边缘，其R、G、B变暗的速率不一样，总体表现就是Gb/Gr像素值差异较大，两个像素之间有细微纹理。找出shading的distribution（分布），然后用最小的模型来建模将其导入。

Correction原理：

找到中心点后，以中心点为原心，向周围以圆为单位补Gain，离中心点越远，补的越大。

Correction前后对比：

（4）DM（Demosaicing/Color Filter Array Interpolation/CFA插值）：

概念：

CMOS Sensor出来的RawData是Bayer格式的图像，每个像素只有一个通道的信息。
DM是将Bayer格式的图像恢复成每个像素用RGB三通道表示的方式。
DM的主要依据是图像在平滑的局部区域，各分量的ratio是相等的。插值算法的好坏会影响图片的细节，如摩尔纹。

DM 是一种数位影像处理演算法，目的是从覆有滤色阵列（Color Filter Array简称CFA）的感光元件所输出的的不完全色彩取样中，重建出色彩影像，这个方法也叫作滤色阵列内插法或者色彩重建法

（5）CCM（Color Correction Matrix/ DSC color calibration）：

颜色校正矩阵
拍摄color checker24色板，将相机拍摄图片值与色板标准值之间进行对比（RGB颜色空间），得出一组能将拍摄值校正到最接近标准值的3x3矩阵。通过这个矩阵对所有相机拍摄的图片进行颜色校正。

（6）Gamma校正

Gamma产生的原因：
人眼对自然亮度感知是非线性的。资源总是稀缺的，我们用来记录/展示画面的媒介，动态范围和灰阶预算是有限的。（无论纸张还是电子屏幕）

为了在灰阶预算有限的前提下，协调自然亮度和主观灰阶感受这二者的映射关系，Gamma就产生了。

（7）NR（Noise Reduction/Denoise）：

去噪 采用特定的LPF（Low Pass Filter）对图片进行滤波，滤除图像的噪声成分，而Bilateral filtering即双边滤波器，它是一种保护边缘的平滑滤波器，这样既可以滤除噪声，edge又可以保留下来。

（8）EE（Edge Enhancement/Edge Sharpening）：

锐化 边缘增强。通过滤波器获取图像的高频分量，按照一定的比例将高频部分和原图进行加权求和获取锐化后的图像。

AWB（Automatic White Balance）------自动白平衡

人类视觉系统具有颜色恒常性的特点，因此人类对事物的观察可以不受到光源颜色的影响。但是图像传感器本身并不具有这种颜色恒常性的特点，因此，其在不同光线下拍摄到的图像，会受到光源颜色的影响而发生变化。例如在晴朗的天空下拍摄到的图像可能偏蓝，而在烛光下拍摄到的物体颜色会偏红。因此，为了消除光源颜色对于图像传感器成像的影响，自动白平衡功能就是模拟了人类视觉系统的颜色恒常性特点来消除光源颜色对图像的影响的

Camera 3A

1 、AWB

AWB（Auto White Balance）即自动白平衡 严格上来说，白色是反射到人眼里面的R、G、B比例相同，并且有一定亮度的视觉反应。白色物体被放在不同的色温光源下，所呈现的颜色会不同，但是因为人眼有自动白平衡的功能，会自动校正回来。所以要求我们Camera也要进行AWB矫正，要求在不同色温环境下，照白色的物体，屏幕中的图像应也是白色的。

2 、AE

AE（Automatic Exposure）即自动曝光 自动曝光的目的是在不同的照明条件和场景中实现欣赏亮度级别或所谓的目标亮度级别，从而捕获的视频或图像既不太暗也不太亮。为了达到这个目的，要调整镜头孔径，传感器曝光时间，传感器模拟增益和传感器/ ISP数字增益。这个过程称为自动曝光。

3 、AF

AF（Auto Focus）自动聚焦 聚焦就是前后移动镜头，直至将尽可能清晰亮丽的物体图像投射到胶片上。镜头必须与胶片保持一定的距离才能形成清晰的图像，具体取决于物体与相机的距离。自动对焦（Auto Focus）是利用物体光反射的原理，将反射的光被相机上的传感器CCD接受，通过计算机处理，带动电动对焦装置进行对焦的方式叫自动对焦。它多分为二类：一是主动式，另一个则是被动式。