从相机raw图像到日常看到的jpeg图像

通常我们看到的图像是经过相机系统的一系列处理得到的，对于相机工程师和算法研究人员而言，获取传感器原图像以及知道图像所经过的一系列处理过程有助于设计计算步骤或者调试参数来得到更令人满意的图像，本文简单模拟cmos传感器采集的raw图像到最终看到的rgb图像的过程，该过程只为了揭示raw图像处理过程中必不可少的一些步骤，并不是一个完整的ISP pipeline。

从cmos传感器采集到的raw数据是对于拍摄场景的光照强度的记录，人眼通常没有办法直接从这个raw数据中直观地得到场景信息的，消费类电子所采用的cmos传感器普遍是单通道的图像传感器，每个像素只记录了一个通道信号，通过设计滤光阵列的摆放方式，采用信号插值的方式将单通道信号恢复成三通道信号，然后经过一系列的色彩和亮度处理得到最终的图像信号。

本文的raw图像处理pipeline如下图所示：

从raw图像处理流水线可知，raw图像经过如下几个基本步骤：

1. 线性化矫正：我们希望图像传感器记录的数据是和光照强度成正比的，然而有些传感器在某段强度下的相应是非线性的，这个时候就需要我们根据传感器标定的线性化表来对记录的raw数据进行线性化矫正；

2. 白平衡矫正：由于不同的传感器使用的材料和工艺上的不同，经过滤光片记录下的黑白灰中性色区域的r/g/b三个通道的数据相差很远，这就会导致本来应该是黑白灰的颜色变成其他颜色，白平衡矫正模块就是统计本来应该是白色的地方，r/g和b/g的比例，然后将本应该是白色的区域矫正回白色；</