Bayer图像色彩还原线性插值方法

这篇文献是从知网下载的，感觉本文很有实用性，所以将其转载至此，如果带来任何纠纷

Bayer图像色彩还原线性插值方法

孙辉，柏旭光，孙丽娜，李志强

（中国科学院 长春光学精密机械与物理研究所 中国科学院航空光学成像与测量重点实验室）

1 引言

在才舍数字相机的成像传感器结构中，为准确获取目标景物信息，同城采用3片CCD同时采集红(R)、绿(G)、蓝(B)三种颜色信号，通过模数转换器(AD)和图像处理单元生成彩色图像，彩色图像每个像素包括R、G、B三个颜色分量，图像分辨率高、细致明锐。由于采用3片CCD结构，相机体积大、设计和成本高，因此3片CCD彩色相机一般只限于在专业研究和一些对图像要求极其精细的领域内使用，大多数彩色数据相机都采用一片CCD作为图像传感器。单个CCD相机通过使用彩色滤波阵列（Color Filter Array，CFA）覆盖在CCD表面获取彩色信息，每个CCD单元只有一种颜色分量通过，为获得全彩色图像，需要通过色彩还原方法恢复另外两种颜色分量。目前在彩色数字相机中普遍采用基于Bayer模板的彩色滤波阵列，选择释放的Bayer彩色图像色彩还原算法，对图像质量十分重要。如何构建色彩还原算法，提高图像还原质量和还原效率是数字图像研究领域的热点之一。

数字相机图像处理过程一般应包括图像白平衡和色彩还原，其中色彩还原是一项基本而又关键的图像处理技术，具有重要的学术和应用价值。在过去的几十年中，许多来自不同领域的专家学者从不同的角度、不同应用背景出发对色彩还原问题进行了深入探索和研究，提出很多行之有效的方法，包括邻域插值法、线性插值法、立方卷积插值法、像素相关插值法、信号相关插值法等。色彩还原基本原理是根据像素周围的已知颜色分量进行插值，估算未知的颜色分量。从理论上来说，插值方法越简单，还原图像质量越低，处理时间越短；反之，插值方法越复杂，还原图像质量越高，处理时间越长。因此在实际易用中，选择适当的色彩还原方法，在图像还原质量和处理速度方面能够达到平衡就显得十分重要，是数字相机图像处理技术中的重要环节。

本文通过对比3片CCD和单CCD彩色相机结构特点，简要介绍单CCD相机彩色滤波阵列应用原理，分析讨论图像处理中的色彩还原问题，介绍3种基于领域线性插值的色彩还原方法，通过样本图像色彩还原对比试验，客观评价图像还原质量，测试算法处理时间。最后对色彩还原技术的未来发展趋势作了展望。

2 CCD彩色数字相机原理与Bayer模板

2.1 CCD彩色数字相机工作原理

CCD彩色数字相机包括光学系统、CCD成像传感器、图像处理单元和处理电路等。成像过程为：首先通过光学镜头将客观景物成像在CCD靶面上，在光线作用下，CCD将光线作用强度转化为电荷积累，经过AD转换器芯片将数字信号传输到图像处理单元。图像处理单元对数字信号进行判读，生成数字图像，由处理电路进行增益控制、校正、功率放大、存储和输出。

由于CCD器件只能感受光线的强度，不能感受光线的颜色，为记录客观景物的颜色信息，采用在成像系统结构中加装分色棱镜或滤光片将光线分成不同颜色谱段投射到CCD靶面。在彩色数字相机中，依据CCD结构和编码方式不同可分为3-CCD相机和单CCD相机，两者在光学设计、结构设计、电路设计及图像处理等方面都有较大差异。

3-CCD相机由一组分色棱镜和3片CCD组成，3个CCD同频同步工作。入射光线经过分色棱镜后，被分为红(R)、绿(G)、蓝(B)三种颜色，在分色棱镜后面分别用一片CCD同事接收一同谱段的光线并转换为电信号，残生红、绿、蓝单色图像数据，通过图像合成生成RGB全彩色图像数据。3-CCD相机分色棱镜光路如图1所示。3-CCD相机具有高分辨率、低噪声等优点。拍摄的图像自然、细致、明锐。但是结构复杂，需要多个CCD传感器并且要求精确对准，也要求三块CCD同步工作。这使得设计和生产成本较高，所以一般只在一些专业的领域使用。

图1 3-CCD相机分色棱镜光路示意图

单CCD相机使用1片CCD转换光信号到电信号，通过使用彩色滤波阵列（CFA）覆盖在CCD成像传感器表面获取颜色信息。根据彩色滤波阵列不同和通过的光线谱段不同，单CCD相机彩色滤波阵列可分为许多不同的类型：Bayer(red，green，blue)、CMYW（cyan，magenta，yellow，white）、RGBW（red，green，blue，white）等。与3-CCD相机相比，单CCD相机优点是体积小、成本低，但在分辨率和成像质量方面低于3-CCD相机。

2.2 Bayer模板与色彩还原

在单CCD相机中，基于Bayer模板的数字相机应用最广。Bayer才是模板在1976年由Bryce E.Bayer等人提出，其基本原理是在二维空间上通过彩色滤波阵列将感光单元分成以2×2为单元的子单元，每个子单元独立接收红、绿、蓝光线。在入射光线到达CCD表面时，彩色滤波阵列之后红、绿或蓝一种谱段的光线通过，图像中的每个像素只有红、绿、蓝这3个分量中的一个分量，Bayer才是模板参见图2.从Bayer编码结构可以看出：

1. 在Bayer颜色滤波阵列中，RGB三色的感光单元不是平均分布。基于人眼对绿色比较敏感，绿色（G）占50%，红色（R）和蓝色（B）各占25%；
2. 图像信号分辨率低于相机感光单元的分辨率。例如相机感光单元总数为1024×1024，实际得到的图像只有512×512个R，512×512×2个G和512×512个B。

图 2 Bayer模板示意图

通过Bayer模板获取的图像称之为Bayer彩色图像或Bayer模板图像，根据彩色滤波阵列的排列不同，Bayer彩色图像可分为BGGR、GBRG、GRBG和RGGB四种格式。

与3-CCD相机获取的全彩色图像相比，Bayer彩色图像每个像素只有红、绿、蓝其中的一个分量，信息量之后全彩色图像的1/3，图像分辨率和图像质量低于全彩色图像。为提高图像分辨率和图像质量，需要通过色彩还原方法恢复另外两种颜色分量，重建彩色图像。

本文以RGGB格式图像为例，简要介绍3种典型的色彩还原线性插值方法：2×2邻域复制插值法，3×3邻域双线性插值法和5×5邻域高质量插值法。

3 色彩还原插值算法

3.1 2×2邻域 像素复制插值

2×2邻域像素复制插值（pixel Doubling Interpolation）的基本特征是“复制”，对确实的颜色分量完全使用Bayer模板使用Bayer模板基本单元2×2快内相同颜色的分量，通过颜色分量复制实现色彩还原。色彩还原的结果是：2×2快内的4个像素具有相同的红色和蓝色，第一列和第二列的两个像素具有相同的绿色值。该算法的优点是算法简单，计算量小，缺点是在图像细节和边缘处有明显的“锯齿效应”。2×2邻域见图3.

图3 2×2邻域示意图

2×2邻域像素复制插值的颜色分量计算公式如下：

3.2 3×3邻域双线性插值

3×3邻域双线性插值是广泛采用的插值算法之一，其基本特征是“平均”。在估算缺失的颜色分量时，选择1个3×3邻域，根据邻域内相同颜色分量值，使用双线性插值算法计算平均值实现色彩还原。该算法简单，在图像平滑区域可以收到较好的还原效果。在图像边缘区域，因为像素的取值具有方向性。不能简单地由周围的像素计算平均值估计，还原效果较差。与2×2邻域还原算法相比，在算法设计上需要增加16次加法运算和8次出发运算，运算量较大。如图4所示：

图4 3×3邻域示意图

3×3邻域双线性插值的颜色分量计算公式：