camera ISP色彩基础知识及算法原理

一  色彩相关术语介绍

1.光与颜色

     色彩是通过光传递和表现的，当阳光穿越三棱镜会产生一条如彩虹般的色带，物理学上称为色谱；这个色谱颜色以此为红、橙、黄、绿、青、蓝、紫，波长在400~700纳米，人类眼睛只对这一小段光波具有反应，因此称为可见光谱。颜色本质上是人眼对电磁波可见光波段特征的辨识。

2.光的反射与吸收特性

    当光照射到物体上时，入射的光谱能量部分被反射，部分被吸收和散射,部分穿透物体。不同的物体具有对照射光的不同程度的选择性吸收、透射和反射性质，称为物体的光谱特性。

苹果之所以看起来是红色的是因为苹果表面反射了红色的光而吸收了其他的色光。

3.颜色的合成与互补

   大多数的颜色可以通过红(Red) 、绿(Green)、蓝(Blue)三色按照不同的比例合成产生;同样,单色光也可以分解成红、绿、蓝三种色光,这就是色度学的最基本原理，即三基色原理。

4.色温

        定义：光源发射光的颜色与黑体在某一温度下辐射的黑体颜色相同时，黑体的温度称为该光源的色温。
如100W灯泡发出的光的颜色，与绝对黑体在2527℃时的颜色相同，那么这只灯泡发出的光的色温就是：（2527+273）K=2800K。

5.色彩三要素

  （1）明度

     颜色有深浅、明暗的变化，比如深黄、中黄、淡黄、柠檬黄等黄颜色在明亮度上就不一样，这些颜色在明暗、深浅上的不同变化，也就是色彩的又一重要特征——明亮度的变化。明亮度是颜色的相对明暗程度，通常使用0%（黑色） ~100%（白色)的百分比来度量。

（2）色相

        色相是视觉系统对物体呈现出的颜色的感觉：用红(Red)、橙(Orange)、黄(Yellow)、绿(Green)、青(Cyan)、蓝(Blue)、靛(Indigo)、紫(Violet)等术语来刻画，黑、灰、白为无色彩。

（3）饱和度

          色彩饱和度其实就是色彩的纯度。纯度越高,色彩表现越鲜明;纯度越低,色彩表现越黯淡。，饱和度是用来表示色相中灰色分量所占的比例，它使用0%（灰色） ~100%（完全饱和）的百分比来度量。因此,饱和度取决于该色中含色成分和消色成分（灰色）的比例。含色成分越大,饱和度越大;消色成分越大,饱和度越小。

二  BLC（黑电平校正-black level Correction）

1.产生原因

因为sensor电路本身存在暗电流，导致在没有光线照射的时候像素单位也会有一定的输出电压，BLC易受到Again和温度的影响，电路的增益增大，暗电流也会增强。

2.校正原理

原理：在Sensor上预留一些没有曝光的像素，通过读其像素值的大小得到OB（Optical Black Level）此时sensor输出的RAW=input-ob,考虑到信噪比一般还会进行基底矫正（pedestal），此时sensor输出的RAW=input-ob-pedestal.

3.校正步骤

（1）全黑采集RAW图，分为R、Gr、Gb、B 四个通道；

（2）对四个通道求平均值（或中值）作为校正值；

（3）对图像的每个通道都减去这个校正值。

4.影响范围

（1）全局：白天与晚上同时影响；
（2）模式：采用 manual 或 gainMapping；
（3）效果： 色彩：偏色，RGB分量、对比度、破坏噪声形态降低信噪比。

         当Blc扣除过多时，会导致整体画面亮度过低，动态范围变低，细节损失多，黑色部分偏色无法通过白平衡纠正，画面偏绿。当BLC扣除过少时，扣除的黑电平值不足以抵消红色通道的信号，导致红色部分的亮度过高，从而使整个图像偏红。

 三  LSC（镜头阴影抑制-Lens Shading Correction）

  1.产生原因

    由于镜头的光学特性会导致sensor的影像边缘区域接收到的光强比中心小，造成中心和四角亮度不一致的现象，并且镜头本身是一个凸透镜，由于凸透镜的原理，中心的感光必然比周边多。需要根据像素的位置做增益补偿。

      Luma shading                                                                         color shading

会造成图像边角偏暗                                                         中心和四周颜色不一致，偏色

                     

2.校正方法

 网格法

网格法：把整幅图像分成m*n个网格，然后针对网格顶点求出校正的增益，然后把这些顶点的增益储存到内存中，其它点的增益通过插值的方式求出 。

 四  AWB（自动白平衡-Automatic White Balance）

1.基本原理

    白平衡就是：不管在任何光源下，都能将拍摄的白色物体的图像还原为白色
人眼在早晨、中午、晚上 不同色温下都能准确看到白色。 CMOS 要获得这种能力，必须对每种光源做相应的色彩校准，才能完成人眼一样的功能。这个功能叫做白平衡。

2.校准原理

   人眼中的白色总是R=G=B，那么白平衡所做的事情就是在不同色温条件下将图像做归一化，也就是如下将Sensor响应的RGB分别乘上一个系数，使得物体在不同光源条件下所呈现出来的颜色，恢复到物体的固有色。

R'=R×R_Gain，

G'=G×G_Gain，

B'=B×B_Gain，

使得R'=G'=B'。

3.算法原理

（1）灰世界算法

   原理：灰度世界算法以灰度世界假设为基础，该假设认为：对于一幅有着大量色彩变化的图像,其R,G,B 三个色彩分量的平均值趋于同一灰度值 K。 从物理意义上讲，灰色世界法假设自然界景物对于光线的平均反射的均值在总体上是个定值，这个定值近似地为“灰色”。 颜色平衡算法将这一假设强制应用于待处理图像，可以从图像中消除环境光的影响，获得原始图像。

  步骤：

1.确定K值.一般有2种方法确定K值，

    1).K取固定值，如最亮灰度值的一般，针对0-255图像，可以取128

    2).计算图像R,G,B三个通道的平均值 R ˉ , G ˉ , B ˉ ，K=（Rˉ+Gˉ+Bˉ）/3

2.计算R,G,B三个通道的增益系数:

3.对于图像中的每个像素的像素值R,G,B,计算其调整后的值:

注：这种算法简单快速，但是当图像场景颜色并不丰富时，尤其出现大块单色物体时，该算法常会失效。当图片中没有足够丰富的色彩来近似理想情况时，灰度世界算法的白平衡效果就差强人意。

（2）白点统计法

1.将原图转换为YCrCb空间：     转换关系如下：

                         

    在YCrCb空间定义一个三维结构，落于此区域内的像素统计为白点，计算色差时只需计算白色像素的平均色差来取代整个图像的色差，从而提高色温计算的准确度，限定YCrCb的约束条件来判断是否为白点：

   Ymin:CbCr较小的像素表现为接近白色的灰度值；Ymax:CbCr较大的像素可以认为是白色物体收到光源干扰得到的，当图像中出现灯光时灯光周围区域会出现过曝的现象色彩成分被抑制。

2.统计白点（有效像素点）数量、累加对应的R、G、B、分量值，得到R、G、B的平均值：

3.得到平均亮度、确定各分量的增益系数：

4.最后进行白平衡校正：

（3）白点统计法的实现

1）标定参考点：提取Sensor在不同标准光源下的白点特征（R/G、B/G）；
2）计算色温拟合曲线；
3）根据色温曲线确定灰区；
4）调整各通道增益实现收白或者喜好色调整。

（4）色温计算原理

  1）取的图像数据,并划分MxN块,如果是25x25,并统计每一块的基本信息(,白色像素的数量及R/G/B通道的分量的均值)。

2）根据第1步中的统计值, 找出图像中所有的白色块,并根据色温曲线判断色温。

     比如25x25=625 个块中,一共找出了100个有效白色块, 里面又有80个白色块代表了色温4500左右, 那当前色温基本就是4500.根据4500色温得出的Rgain,Bgain来调整当前图像的白平衡。

五 CCM（色彩矩阵校正-Color Correction Matrix）

1.基本原理

sensor 的 RGB 分量对光谱的响应与人眼的不同，为了使图像显示的颜色与人眼接近，则需要色彩校正模块对各种颜色进行还原，将颜色从sensor RGB空间变换到人眼的RGB空间，使图像的效果符合人的主观感受。

2.校正原理

 使用 sensor 抓拍到的 24 色卡场景下前 18 个色块的实际颜色信息和其期望值，计算 3x3 的 CCM 矩阵。输入颜色经 CCM 矩阵处理得到的颜色与其期望值差距越小，则 CCM 矩阵就越理想。
 

3.调试方法

（1）调试CCM矩阵时，先将矩阵配置成单位阵（ rr=gg=bb=1），再将饱和度提高到适当值；
（2）对着24色卡对颜色进行调整至用户喜好颜色。

以纵轴为基色，横轴为分量，找到对应的色彩在色相环上的位置，再根据色彩偏向调整CCM数值。

备注：此图参考此博文所总结整理：Hisi平台CCM调试-细调_Camera Man的博客-CSDN博客

六 3DLUT(Look  up  ttable)

基本原理

颜色查找表，用于颜色校正的技术，它可以将输入的颜色值映射到输出的颜色值。它的原理是将输入颜色空间中的每个颜色值映射到输出颜色空间中的一个对应颜色值，这个映射关系可以通过一个三维数组来表示，这个数组就是3D LUT。

3D LUT的作用是对图像进行颜色校正，使得图像在不同设备上显示时颜色表现一致。它可以校正图像的亮度、对比度、饱和度等参数，从而达到更加真实、自然的效果

七 色差（chromatic aberration）

1.产生原因

透镜对不同波长的色光有不同的折射率，波长越长折射率越高。

2.分类

（1）横向色差

不同波长的光按照一定的角度进入透镜，并且聚焦到沿着相同的平面上不同的位置时产生的色差。一般出现于图像边缘高对比度的地方。 图像的放大倍数随波长的不同而产生的颜色条纹。

（2）纵向色差

   不同波长的光沿着水平光轴进入透镜后不能聚焦同一平面的同一点而产生的色差。一般出现于物体边缘呈现红绿蓝或者这些颜色的结合。 可以通过缩小镜头光圈来大幅度减少色差。

八 紫边（purple boundary）

产生原因：

通常认为紫边的成因是镜头色差，即镜头对不同光谱光线的折射程度不同，导致不同光谱的光线不能成像到一点上。成像系统一般将绿色通道准确对焦，然而由于镜头色差，蓝色和红色通道不能完全准确对焦，从而使物体边缘出现紫红色的色边。实际就是色差导致了R≠G≠B，所以才会有了颜色；紫色就是R、B通道的分量 > G通道的分量。

步骤

现象