Camera-ISP模块

一 介绍

ISP（Image Signal Processor），用于处理图像传感器捕获的原始图像数据，以输出最终图像。
ISP模块主要包括以下几个方面：
1 图像预处理：降噪、锐化
2 白平衡调整
3 曝光控制
4 色彩校正：饱和度、对比度、色调
5 图像压缩
6 格式转换：Bayer、RGB、YUV

二 信号转换

光信号=(sensor)》电信号=（放大）》电信号=（ADC）==》数字信号

三 常见的ISP 模块

3.1 BPC

Bad Point Correction：坏点矫正
因为sensor 缺陷如生产时附灰等，导致些点（pixel）损坏。

3.2 BLC

Black Level Corretin：黑电平矫正
全黑环境下测Lens 的数字信号，标为黑电平。
一般将值（数字信号）记为64 .即64以下为黑色。

白电平：ISP能处理的最大亮度，可认为是纯白色。
如果用10bit 存图片，则白电平值为 2^10-1 = 1023。

3.3 LSC

Lens shading correction：镜头阴影矫正。
光进入Lens 会从中心向四周扩散。
LSC希望让亮度均匀，使中心不过亮，四角不过暗。

Solution：
中心 * 系数 α 缩小 （0<α<1）
四角 * 系数 β 放大 （1<β）

3.4 WB

White Balance：白平衡
灯泡，日光灯，自然光的“白”是不同的（色温）

Solution：
灰度世界算法（Gray World Algo）：每一个像素的RGB乘一个由平均值组成的矩阵。
1 求RGB 的均值：R-avg，G-avg，B-avg
2

3.5 Demosaic

Demosaic：反马赛克
不同于Remosaic，Demosaic是补上每个pixel 缺少的R/G/B
Demosaic 是Bayer图到RGB图的转换。
sensor 上每一个像素只能感光R，G，B其中一种颜色。
为此，就需要通过前后左右的像素点，补齐这一个点的另外两种颜色。
补齐了RGB三种颜色，才能组成七彩颜色。

3.6 Remosaic

Remosaic 是Bayer 图到 Bayer 图的转换。
sensor 的一个像素点只能感光R，G，B的其中一种颜色。
但只有一个像素点去感光，在暗环境下感光性能可能不够；
这时我们可以用四个像素（也可能是2个，或者更多）去感光一种颜色，增强其感光能力；
然后再通过Remosaic 返回正常的Bayer图。

3.7 Denoise

Denoise：去噪
可能在Bayer上进行，也可能在demosaic之后的RGB上进行。

3.8 Color Transforms

颜色变换。
WB是对白色校准。这是对其它颜色校准。
c’ = M.c + b
M：3x3 的颜色校准矩阵（即CCM， Color Correction Martix）

3.9 Tone Mapping

Tone Mapping：色调映射
让图片的亮度或者色调尽可能接近人眼。
提高暗区增加对比度；压缩亮区防止过曝。
可分为 global tone mapping 和 local tone mapping
用不同函数曲线对原图像素值重映射。
（类似 gamma correction）