图像基础--图像预处理技术(色彩插值、色彩校正、伽马校正、图像增强和白平衡)

1、简介

图像采集的功能由图像传感器实现， 目前图像传感器主要有电荷耦合器件CCD和CMOS传感器，CCD传感器具有高解析度、低噪声、动态范围大等优点；CMOS具备低成本、高的集成度、低功耗等有点。但不论是CCD还是CMOS传感器在将实际景物转换为图像信号时总会引入各种噪声和畸变失真，因此一般需要对图像传感器的图像进行预处理，本文将介绍色彩插值、色彩校正、伽马校正、图像增强和白平衡相关基础知识。这些预处理技术一方面改善图像的质量，另一方面，可使得图像有利于视频编码的处理。

2、色彩插值

从理论上来说，对于RGB图像，我们需要在一个像素上同时获取RGB颜色，比较简单的办法就是采用滤镜的方式，红色的滤镜透过红色的波长，绿色的滤镜透过绿色的波长，蓝色的滤镜透过蓝色的波长。对于RGB图像，如果同时获取这个像素的RGB值，则需要三块滤镜，这样价格昂贵，且不好制造，因为三块滤镜都必须保证每一个像素点都对齐，为了简化制作工艺和降低制作成本，一个像素往往只给出单色的色调值，而不能同时给出RGB三组数据。因此在这个过程中，借助色彩滤镜阵列CFA（Color Filter Array）和相关的色彩插值算法，我们也能达到相似的效果，本文以拜耳（Bayer）图像阵列为例介绍色彩插值的概念。下图为拜耳阵列；

由于人眼对绿色比较敏感，从拜耳阵列上可以到，绿色元素的个数是红色和蓝色元素之和。显然，在这种图像阵列中，每个像素值只有一个颜色的色调值，另外两个颜色的色调必须利用相邻像素之间的相关性，通过数据计算获得，这些方法通常就被称为色彩插值。
基于拜耳阵列的插值算法有：双线性插值法、色比恒定法、基于梯度的算法、自适应插值法和Ron Kimmel法则。

• 双线性插值法：
  考虑坐标(3, 3)，此处只有红色信息，为了得到全彩色信息，必须恢复出蓝色和绿色分量，利用双线性法可以得到：
  B33 = (B22+B24+B42+B44) / 4;
  G33 = (G23+G32+G34+G43) / 4;
  双线性法始终取3*3滤波器的并均值，忽略了细节信息，以及图片三个颜色通道之间的相关性，所以双线性法往往不能得到满意的插值效果，容易在细线状态结构的边缘处产生锯齿形图案。

• 色比恒定法：
  事实上，不同的颜色通道具有很强的相关性，前一类算法忽略了这一点，难以产生满意的插值效果，色比恒定法由于考虑了不同颜色通道间的相关性，重构图像的质量也有了明显的提高。
  Mondriaan模型：该模型从屋里光学角度论证，在一副图片的小平划区域，其色彩亮度总是自然过渡的，色比（通常定义为R/G，B/G）基本上不会发生突变。该模型是进行色彩插值处理的最基本的理论基础，却也是在实际应用中相当有效和使用最广泛的理论之一。假设（i，j）邻近的一个采样点是（m，n）,则下面两等式同时成立：
  
  根据上述的理论，可以首先利用双线性法则恢复出绿色分量，此时整幅图片的绿色分量均可以插值获得，然后利用色比恒定来恢复红色和蓝色通道的信息，以B44为例，R44计算方式如下：
  
  其他算法请参考：
  《基于Bayer彩色滤波阵列插值算法的研究》 https://spider.doc88.com/p-1846819165713.html

3、色彩校正

我们通过插值法得到了 RGB 三元色齐全的图像（ R、 G、 B）了，但传感器响应的这个图像与真实场景之间仍存在差异。这存在多方面的原因，涉及图像传感器中光学器件（棱镜）的光谱特性、场景的光源光照条件（诸如白光、荧光或者钨光）以及色彩滤镜的光谱特性等。下图是配置了RGB 色彩滤镜阵列的CMOS 图像传感器的光谱响应曲线。

CIE 1931-RGB色彩系统色匹配函数图形：

对比上面两幅图像就会发现存在较大的差异，为了补偿这种差异，必须对图像的像素值（ R、 G、 B）进行转换处理，其中，系数 bij 是由传感器的光谱特性、光源光照条件和滤镜的光谱特性所决定。

在实际标定中，一般以标准色卡作为参考，转换矩阵可能会存在更多的维数。
关于色彩校正，以下几篇文章可以参考：
1、《线性回归实现颜色校正》https://blog.csdn.net/qq_36810544/article/details/83378062；
2、《色彩空间表示与转换》https://zhuanlan.zhihu.com/p/24281841；
3、《CMOS成像原理彩色滤片和相机标定简介》http://www.360doc.com/content/19/0328/09/34171771_824685194.shtml

4、伽马校正

在理想状态时，传感器输出的色彩强度 Intensity 和电子束的电压信号之间的关系应该是线性的（如下图所示）；

但是在实际应用的情况中，输出的强度随着电压信号之间是非线性的（如下图所示）。

研究表明，显示器的输出强度和输出电压的相应大致呈幂指数关系，其公式如下所示，表示输出的强度随着输入电压的增长成指数增长。通常我们就把这个幂指数称为伽马γ（ gamma）。其中， I 指显示器输出的光强度； P 指显示器上加载的光束电压，一般光束电压 P 是由图像相应位置的像素值决定； γ为伽马值。

为了在显示器上显示的图像效果和实际相符，有必要在摄像机获取图像后进行伽马校正，使得上述这种非线性校正为线性关系，公式如下:

Pnew 是进行了校正处理的对图像的像素值；Pold 是校正前的像素值；伽马值γ影响着校正的程度， γ＝ 1 时，不进行校正，γ越大，像素值的校正量越大。

5、图像增强

实际应用中图像传感器的输出图像经过上述的处理并不是完美的，图像质量获得的改进也是有限的，加之噪声、光照等原因，需要进一步处理，丢弃无用的信息，保留我们感兴趣的重要信息。图像增强作为一种重要的图像处理技术，目的无非就是两个： 第一更适合人眼的感觉；第二有利于后续的分析处理。
图像增强主要包括直方图均衡、平滑滤波、中值滤波、锐化等内容。一般情况下，图像增强既可以在空间域实现，也可以在频域内实现。 这里我们主要介绍在空间域内对图像进行点运算，它是一种既简单又重要的图像处理技术，它能让用户改变图像上像素点的灰度值，这样通过点运算处理将产生一幅新图像。总之，图像增强后，有利于视觉的效果和后续的处理，消除了相关性和高频噪声，有利于图像的压缩和处理，节省带宽。

• 平滑滤波
  图像平滑作为一种主要的图像增强技术，其主要目的是为了消除图像采样系统的质量因素所产生的噪声。 噪声并不限于人眼所能看的见的失真和变形，有些噪声只有在进行图像处理时才可以发现。图像的常见噪声主要有加性噪声、乘性噪声和量化噪声等。图像中的噪声往往和信号交织在一起，尤其是乘性噪声，如果平滑不当，就会使图像本身的细节如边界轮廓、线条等变得模糊不清，如何既平滑掉噪声尽量保持图像细节，是图像平滑主要研究的任务。
  一般来说，图像的能量主要集中在其低频部分，噪声所在的频段主要在高频段，同时图像中的细节信息也主要集中在其高频部分，因此， 如何去掉高频干扰又同时保持细节信息是关键。为了去除噪声，有必要对图像进行平滑，可以采用低通滤波的方法去除高频干扰。图像平滑包括空域法和频域法两大类，在空域法中，图像平滑的常用方法是采用均值滤波或中值滤波，对于均值滤波，它是用一个有奇数点的滑动窗口在图像上滑动，将窗口中心点对应的图像像素点的灰度值用窗口内的各个点的灰度值的平均值代替，如果滑动窗口规定了在取均值过程中窗口各个像素点所占的权重，也就是各个像素点的系数，这时候就称为加权均值滤波；对于中值滤波，对应的像素点的灰度值用窗口内的中间值代替。在频域法中，一般采用低通滤波法。这里主要采用介绍空域处理的方法。
  加权均值滤波是取一个 n×n 的窗口，取该窗口内的 n2 个像素的加权平均值取代中心像素原来的
  值。加权均值算法的一般表达形式为：
  
  其中， g(x,y)是窗口的中心元素， f(x+i,y+j)是有噪声图像的像素， w(i,j)为加权值，其窗口大小为(2k+1)×(2k+1)。把 n×n 的权值排成矩阵，称为加权模板。下面介绍几个 3×3 的加权模板：
  
• 中值滤波
  中值滤波也是一种典型的低通滤波器，它的目的是保护图像的细节的同时，消除噪声。中值滤波的原理是指把以某点(x,y)为中心的小窗口内的所有像素的灰度按从大到小的顺序排列，将中间值作为(x,y)处的灰度值(若窗口中有偶数个像素，则取两个中间值的平均)。对二维的数字图像，设定一个大小为（ 2k+1） ×(2k+1)的窗口，计算其中值为：
  
• 图像锐化
  图像的边缘信息在图像风险和人的视觉中都是非常重要的，物体的边缘是以图像局部特性不连续的形式出现的。前面介绍的图像滤波对于消除噪声是有益的，但往往使图像中的边界、轮廓变的模糊，为了减少这类不利效果的影响，这就需要利用图像鋭化技术，使图像的边缘变得更加鲜明。图像銳化处理的目的就是为了使图像的边缘、轮廓线以及图像的细节变的清晰，经过平滑的图像变得模糊的根本原因是因为图像受到了平均或积分造成的，因此可以对其进行逆运算（如微分运算）就可以使图像变的清晰。从频率域来考虑，图像模糊的实质是因为其高频分量被衰减，因此可以用高通滤波器来使图像清晰。
• 直方图均衡
  图像直方图是图像处理中一种十分重要的图像分析工具，它描述了一幅图像的灰度级内容，从数学上来说图像直方图是图像各灰度值统计特性与图像灰度值的函数，它统计一幅图像中各个灰度级出现的次数或概率；从图形上来说，它是一个二维图，横坐标表示图像中各个像素点的灰度级，纵坐标为各个灰度级上图像各个像素点出现的次数或概率。
  在介绍灰度直方图均衡之前，先讲讲直方图修正。所谓直方图修正，就是通过一个灰度映射函数 S=F®，将原灰度直方图改造成你所希望的直方图。所以，直方图修正的关键就是灰度映射函数。直方图均衡化是一种最常用的直方图修正。它是把给定图像的直方图分布改造成均匀直方图分布。由信息学的理论来解释，具有最大熵(信息量)的图像为均衡化图像。
  假定图像的总像素数目为 n，而某个灰度级 k 的像素数目为 mk，该灰度级的概率密度为：
  

6、白平衡

白平衡作为图像处理的一个重要术语，也随着数码相机的普及进入了人们的认识中。白平衡指的就是对白色物体的还原。当我们用肉眼观看这大千世界时，在不同的光线下，对相同的颜色的感觉基本是相同的，比如在早晨旭日初升时，我们看一个白色的物体，感到它是白的；而我们在夜晚昏暗的灯光下，看到的白色物体，感到它仍然是白的。这是由于人类从出生以后的成长过程中，人的大脑已经对不同光线下的物体的彩色还原有了适应性。但是，图像传感器没有这种人眼的适应性，在不同的光线下，由于图像传感器输出的不平衡性，造成其输出的彩色失真：或者图像偏蓝，或者偏红。
传统的白平衡方法，首先在色温环境中拍摄一纯白色物体，分析所拍摄的图像数据，对白色物体的数据进行平均。得出三原色的平均值（ Rmean、 Gmean、 Bmean），根据白色的定义：R=G=B，改变 R、 B 感应通道的增益可以实现图像的白平衡，这种白平衡方法需要有白色参照物，使用不便。因此，实际应用中，产生了一些自动白平衡的算法，主要有：

• 全局平衡法
  认为所拍摄的图像的 RGB 三色分量的统计平均应该相等， 对于拍摄的图像进行统计平均， 以 R、
  B 分量的均值作为白平衡校准的依据。
• 局部白平衡法
  搜索所拍摄的图像中，最亮的区域作为白色区域，该区域的 RGB 三色分量的统计平均值应该相
  同，以该区域的 R、 B 分量的均值作为白平衡校准的依据。

参考内容：
《新一代视频压缩编码标准H.264》