【去马赛克专题】从bayer到rgb：ISP中的demosaic技术

1.背景介绍

CCD (电荷耦合)和CMOS (互补金属氧化物半导体)作为当前运用最广泛的两种相机光电转换传感器，负责将进入镜头的光信号转化为模拟电信号。感光元件在表面受到光线照射时，每个感光单位会将电荷反映在组件上把光转换为电荷，所有的感光单位所产生的信号加在一起就构成了一幅完整的画面，但是单纯的感光元件只能感知光强而不能感知色彩。

人眼由于视网膜上含有三种不同感光色素的锥状细胞，分别对红、蓝、绿光刺激敏感。三种锥细胞所发生的色觉冲动，由三条不同的神经通路上传到视觉中枢的不同部位产生不同的色觉。因此借鉴三原色的原理采用光学元件将不同色彩的光波长分量分别提取出来让每个感光单位分别去接收，就可以得到彩色的数字图像。

传感器“看到”的 vs 人眼看到的

当前市场上的各种彩色数字相机可以根据传感器是一个还是三个来划分：其中三传感器技术通过用分割光的颜色分量，让每个传感器分别接受三原色中一个特定原色的颜色刺激，然后将三个接收信号的结果叠加。

两种三传感器架构

第一种三传感器过两个镀有特殊膜层的二向色分光棱镜将入射平行光的三原色分量分离，分别由三个传感器接收。第二种三传感器利用多层CMOS技术基于嵌入在硅衬底上的三层叠加的感光点，由于不同波长的光穿透硅的深度不同，三原色可以被不同层的CMOS所接收。虽然三传感器技术可以产生高质量的图像，但传感器本身以及光学设备都需要很高的制造成本，因此这种解决方案普及性很低。

为了克服成本限制，1976年Bayer公司提出了一种至今仍然广泛采用的解决方案，通过在单个CMOS或者CCD上覆盖颜色滤光阵列(CFA)，每个感光单位对应的滤光片只对三原色中特定的一个波长的光线进行过滤。

在CFA(Color Filter Arrays)排布中，为了获取彩色图像，每个感光单位上需要通过demosaic估算缺失颜色的分量(如R滤光像素位置需要估算G和B的分量)，CFA根据不同的需求主要有如下几种排列格式：

(a) 垂直条纹排列格式采用RGB主频的CFA交替叠加，这种分布对于交错的电视视频信号非常适用。

(b) Bayer阵列作为最常用的CFA形式，考虑到人眼对绿色分量更为敏感，在2X2的单元中采用一个R、一个B和2个G分量组成。拜耳阵列不可避免的导致了获得的数码图像出现“伪色”、“摩尔纹”等现象，降低了图像分辨率。但是拜耳阵列简单的结构与成熟的工艺让它堆起像素来十分容易，因此拜耳阵列是当前应用最成熟也最广泛的CFA模式。

(c) 伪随机排列时受到人眼生理学的启发，模仿人眼视网膜的锥细胞排布，它的不规则性实现了对被观察场景中的亮度空间变化敏感性和感知不同颜色能力的折衷。

(d) 互补三原色的CFA排布拥有比RGB排布更高的光谱敏感性和带宽，对于噪声环境时比较有意义。然而CMY光谱灵敏度函数的强相互叠加使得转换为RGB原色的效果不理想，大部分应用于电视。

(e) RGBW排列是将传统RGBG排列上两个绿色像素的其中一个替换为无色（White）的像素，本质来讲，RGBW阵列也属于“拜耳阵列”的一种变种，毕竟这种方式也同样需要经过“猜色”的过程。但这意味着CMOS能够接收更多的外来光线。也就是说RGBW阵列能够有效提升暗光环境以及夜景的效果。然而，拜耳阵列最大的问题：摩尔纹以及伪色却没有得到解决。此外因为减少了1/4的颜色感知，RGBW阵列成像对比度和饱和度有明显的不足。

(f) burtoni这种排列格式作为一种复杂的镶嵌形式可以有效提高模拟信号的质量，但是容易产生弱混叠伪影。

---

2. Demosaic算法设计准则

以一个简单的双线性插值为例，图(a)为一幅图像提取的垂直边缘部分，在经过稀疏采样得到CFA形式(b)，经过双线性插值对RGB三通道插值后得到(d)(e)(f)，三通道分量进行叠加得到还原彩色图像(c)，可以看到在G通道的插值中边缘产生的错误导致最终估计的彩色图像出现伪彩色和锯齿。因此可以看到要提高demosaic的最终效果，必须遵循一定的先验自然规律。

2.1 光谱相关性

同样以垂直边缘为例，在原始图像RGB分量的过渡保持一致，可以初步表明三个颜色的通道是具有相关性的。

为了证明相关性的观点，对于自然图像2002年Gunturk用低通滤波器和高通滤波器构造一个二维滤波器，将每个颜色分量分解为行滤波和列滤波的四个子带：

(LL) : 行列均为低通滤波。

(LH) : 行为低通，列为高通。

(HL) : 行为高通，列为低通。

(HH) : 行列均为高通滤波。

对于每个颜色平面得到的子带，分别代表低频、水平高频、垂直高频、对角高频。分别计算各子带红绿、蓝绿分量的相关系数，在对20幅自然图像的计算发现即使是低频的相关性也大于0.8，高频相关性系数全部大于0.9，充分说明了颜色之间是具有强相关性的。

对于光谱相关性的运用当前文献主要提出两点假设：第一种是色差恒定，第二种是色比恒定。

基于Lambertian模型，不管照明分布如何，Lambertian表面在所有的表面方向上接收并发散所有的入射照明，结果是每一个方向上都能看到相同数量的能量，因此相机拍摄到物体的一点的光强度随着相机位置在一定变化范围内保持不变。设p为物体反射率、N为物体法线、L为入射光角度，那么三原色的反射强度可以表示为：

色差恒定认为在一定范围内入射光和法线是比较接近的，因此可以认为在一定范围内的相邻点像素之间符合R-G或者B-G是相等的，由此产生了色差恒定的假设。

而由于反射率是常数，因此也可以认为在一定范围内的相邻点像素之间符合R/G或者B/G是相等的，由此产生了色比恒定的假设。

色差的运算简单且容易实现。而色比在G通道接近0时误差较大，色差不存在这类问题，因此绝大多数颜色插值算法中使用了色差恒定的假设。

2.2. 空间相关性

一幅彩色图像各个像素的邻域可以看做一组同性区域，每个像素的颜色分量具有相似性。等同于插值的思想，在估计每个像素位置缺失的分量时可以利用邻域的像素值，然而对于图像边缘部分由于颜色成分局部快速变化容易产生错误插值。因此通常在demosaic中会结合空间相关性和光谱相关性通过两步处理：

(1) 首先基于绿色分量的密集数据以及可以代表待估计图像的亮度，利用空间相关性插值绿色分量。

(2) 然后再根据光谱相关性对红色和蓝色分量进行估计，同化为色度。

需要注意的时第一步通常也会考虑利用光谱相关性提高绿色平面的插值质量。

---

3. 算法研究现状

与其他图像处理任务类似，demosaic算法主要分为传统算法和深度学习算法。

3.1 传统算法

传统算法中有着大量应用的主流算法包括基础插值法、边缘判别法、残差插值法，另外如频域法、基于统计的方法、后处理方法也有相关研究。

对比2000-2017年的各种demosaic传统算法的CPSNR，残差插值(RI)的一系列算法客观指标处于领先的地位

(1）基础插值法

最基本的基础插值法中，第一类方法主要通过在三个独立的R/G/B通道上根据邻域信息进行插值，然后将插值后的三通道结果叠加。典型的方法为最近邻插值、双线性插值，以及基于多项式和基函数的双三次线性插值、双三次B样条插值等，这类方法只考虑了空间相关性，有明显的模糊、伪彩色、拉链效应等缺陷。

第二类方法在第一类方法的基础上额外考虑了光谱相关性，首先通过双线性插值法重建得到G通道，然后基于色差恒定或色比恒定的假设重建R/B通道。第二类方法较第一类方法在客观指标上有一定提升，但是在边缘处的模糊、伪彩色、拉链效应等缺陷并没有明显改善。

demosaic算法之基础插值 - 知乎 (zhihu.com)

(2) 边缘判别法

基础插值demosaic算法存在明显的模糊、伪彩色、拉链效应，尤其是在边缘部分。这是因为在对G通道插值时边缘两侧的像素均匀采样，导致不同成分的分量混叠。边缘判别法通过指定策略判断边缘的方向去控制插值时的邻域采样选择，对伪彩色、拉链效应有着明显改善。

该类方法将G通道看作亮度成分， R/B通道看成色度成分，认为G通道的采样是R/B通道的两倍能代表图像中大部分高频信息，R/B通道作为色度成分变化比较缓慢，因此通常先在双线性插值的基础上利用各种边缘判别方法得到插值方向对G通道进行重建，然后再利用色差或者色比恒定的假设重建R/B通道。

比较经典的边缘判别方法有：梯度矫正线性插值法、边缘敏感性法、二阶微分边缘插值、亚当-哈密尔顿自适应梯度法、局部协方差法、自适应边缘权重法、自适应相似度选边插值(AHD)、梯度无阈值法(GBTF)等。

demosaic算法之边缘判别插值 - 知乎 (zhihu.com)

(3) 残差插值法

大部分边缘判别法中有价值的研究内容主要集中在1990~2010年，其中如AHD、GBTF有着不错的重建效果，只存在轻微主观上的重建错误。在边缘判别法的基础上为了更进一步降低传统色差插值误差，从2010年开始研究人员又发现验证了残差插值具有更小的误差，能够产生较好的重建效果，逐步提出了基于残差插值的demosaic方法。该算法以GBTF方法的框架为基础，将残差插值代替色差插值来实现马赛克图像的重建，其中残差是指最初采样到的像素值与初步估计值之间的差值。

根据时间线的残差插值法有：残差插值、拉普拉斯残差插值、迭代残差插值、自适应残差插值等方法。

demosaic算法之残差插值 - 知乎 (zhihu.com)

(4）频域法

基于频率分析的demosaic基本原则是使用bayer图像的频率表示信号。在空间频域中，这样的CFA图像可以表示为一个基于绿色分量的亮度信号和两个基于R/B分量色度信号的组合，这三个信号都被很好地局域化。因此适当的频率选择允许估计每一个这些信号，从中可以得到demosaic图像。主要的频域方法有：频域选择法、联合空间和频域分析法、小波变换法。

(5) 基于统计的方法

这类方法主要基于概率统计论以及相似块分类处理等方法，如利用最大似然估计、贝叶斯最大后验概率、马尔可夫随机场等数学定理进行建模，以及类似raisr的模板匹配法、局部协方差法。这类算法在时间开销上较大，实时应用型较差，此处暂时不多做介绍。

(6) 后处理

demosaic中后处理算法主要为估计色彩校正，一旦在每个像素处估计出两个缺失的分量，通常需要进行颜色校正的后处理步骤来去除马赛克图像中的伪影。为了去除假颜色，一种经典的方法是加强三个估计颜色成分之间的光谱相关性，这样的目标可以首先通过中值过滤来达到。

另外如交替投影法认为在自然彩色图像的高频区域像素级具有较强的光谱相关性，通过增加估计的R、G和B分量平面之间高频信息的相关性，同时保留CFA图像数据，利用两个凸约束集来实现这两个目标，并在凸约束集上交替投影估计数据。基于滤波器组方法将每个R、G和B平面分解为四个频率子带。滤波器组是一组通带滤波器，它将输入信号分解成几个子带，每个子带在特定的频率子带中携带原始信号信息。相反，在滤波器组中信号可以通过子带的重组进行重构。该算法以初始估计图像为起点，因此它可以被认为是一种复杂的改进方案。

2000-2017年传统算法的效果对比(图例来源论文：Adaptive Residual Interpolation for Color and Multispectral Image Demosaicking)

3.2 深度学习算法

由于深度学习中的卷积神经网络能够有效提取图像的浅层、深层特征以及结构信息，已经在图像超分辨率、去噪、去模糊等视觉处理任务中取得 令人满意的结果。近年来，基于深度学习的demosaic方法发展较快，其利用大量数据集进行网络训练，不断地学习马赛克图像和原始图像之间的映射关系，从而获得精度较高、泛化能力较强的图像重建模型。研究发现，与传统方法相比，基于深度学习的去马赛克方法重建图像质量得到进一步提升，在主观评价和客观评价指标上都更接近原始图像，在多种应用领域已逐步替代传统方法。

按照去马赛克任务的独立性，基于深度学习的方法可大致分为独立去马赛克任务和联合其他视觉任务的去马赛克任务：

独立去马赛克方法中部分方法分几步重建：一类方法通过建立参数学习的深度网络，然后利用学习到的参数在传统demosaic模型下进行图像重建。另一类方法是端到端网络， 即针对给定的bayer图像直接输出重建图像。

联合demosaic任务，主要考虑bayer阵列图像的采样率低、噪声明显等特征，因此已提出了大量去噪和demosaic联合方法，以及图像超分辨率和demosaic的联合处理方法。

---

4. 评价指标

demosaic的理想效果是通过CFA阵列采集的信号生成一个尽可能接近原始图像的估计颜色图像，通常原始图像并不容易获得，一个比较经典的评价方法流程如下：

(1) 用三传感器提供的原始彩色图像作为原始图像。

(2) 对CFA图像进行demosaic处理，得到一副估计的彩色图像。

(3) 对比原始和估计的彩色图像的差异，通过评价方法确定demosaic算法性能。

在学术领域中，实际原始图像的获取主要采用柯达数据集生成bayer masaic图像制作验证集数据对。原因是柯达数据集是由传统的胶片图像数字化后得到的，由于颜色相关性较高，通过分析颜色的相关性可以得到较有说服力的的结果。

4.1 客观评价指标

与传统图像质量的客观评价标准类似，demosaic的常用客观评价仍然是对原始图像I和算法估计图像I‘进行像素级比较来评价保真度，对于artifact并没有敏感的反映。

(1) MAE (Mean Absolute Error)

(2) MSE (Mean Square Error)

(3) PSNR (Peak Signal-to-Noise Ratio)

(4) SSIM(Structural Similarity)

(5) C(Correlation)

4.2 主观评价指标

在一定的采样频率下对各种频率的信号进行采样，采样的的信号是没有办法恢复的和原始信号一模一样的，因此就目前的算法来说demosaic主要会造成以下四类artifact:

(1) 模糊 (Blurring Artifact)：插值可以看成一个滤波的过程，对于图像边缘纹理这类高频信息的滤波会导致细节丢失导致图像模糊。

(2) 拉链效应 (Zipper Effect): 在图像从低频跳到高频时, 插值不是沿着边缘而是穿过边缘, 边缘部分会产生模糊和颜色溢出。插值后在水平或垂直方向上出现有一些像素点有规律的间隔分布。

(3) 伪彩色 (False Colors): 估计图像于原始图像在一些像素位置的颜色成分出现较大差异，是图像重合失调和不适当的邻域平均所致, 但是这种差异并没有特定的几何结构，主要出现在色彩的轮廓处区域。

(4) 混叠 (aliasing)：插值算法容易在图像中引入低频模式。

以Kodak数据集的img18为例，在双线性插值的算法下多种问题共同存在。

目前在主观评价估计图像的复原质量时主要从以上四点考虑，由于客观评价指标与人类视觉系统的主观感受适配并不完美，主观评价中也有相应的一些客观评价指标如CIE Lab估计误差、S-CIE Lab估计误差、CIE Luv色差等，此处不多做描述。

---

参考文献整理

分类	论文名称	代码	发表时间
综述	demosaicking color filter array interpolation		2005 IEEE
综述	Image Demosaicing: A Systematic Survey		2008 SPIE
综述	Comparison of color demosaicing methods		2010 AIEP
综述	color image demosaicking an overview		2011 IEEE
综述	rethinking color camera		2014 IEEE
综述	Colour filter array demosaicking: a brief survey		2018 TISJ
综述	Comparison of Deep Learning and Conventional Demosaicing Algorithms for Mastcam		2019 MDPI
综述	Computational analysis of Bayer colour filter arrays and demosaicking algorithms in digital photoelastic		2019 OLE
综述	Bayer阵列图像去马赛克算法研究综述		2021 图形学报
基础插值法	review on image interpolation techniques		2016 JDAP
基础插值法	Exploitation of inter-color correlation for color image demosaicking		2014 IEEE
边缘判断法	Adaptive color plane interpolation in single sensor color electronic camera	https://github.com/AomanHao/ISP_Demosiac	1996 IEEE
边缘判断法	demosaicking methods for bayer color arrays		2002 EI
边缘判断法	Adaptive homogeneity-directed demosaicing algorithm		2006 IEEE
边缘判断法	Color demosaicing using variance of color differences		2006 NLM
边缘判断法	high quality linear interpolation for demosaicing of bayer patterned color images		2004 IEEE
边缘判断法	Gradient based threshold free color filter array interpolation	https://github.com/tomsangotw/Demosaicing/blob/master/Demosaicing.cpp	2010 IEEE
边缘判断法	Bayer Image Demosaicking Using Eight-Directional		2018 MDPI
残差插值法	residual interpolation for color image demosaicking	数据集和大量参考文献整理对比：http://www.ok.sc.e.titech.ac.jp/res/DM/RI.html	2016 IEEE
残差插值法	Image demosaicing by using iterative residual interpolation		2014 IEEE
残差插值法	Color Image Demosaicing Using Iterative Residual Interpolation		2015 IEEE
残差插值法	Minimized Laplacian Residual Interpolation for Color Image Demosaicking		2014 SPIE
残差插值法	Adaptive Residual Interpolation for Color and Multispectral Image Demosaicking	https://github.com/goldflower/Adaptive-Residual-Interpolation-for-Color-and-Multispectral-Image-Demosaicking	2017 MDPI
频域分析法	Linear demosaicing inspired by the human visual system		2005 IEEE
频域分析法	Adaptive filtering for color filter array demosaicking		2007 IEEE
概率统计法	Enhancing resolution along multiple imaging dimensions using assorted pixels		2003 IEEE
概率统计法	Hybrid color filter array demosaicking for effective artifact suppression		2006 EI
概率统计法	color demosaicking via directional linear minimum mean square-error estimation		2015 ICIEMS
概率统计法	Self-similarity and Spectral Correlation Adaptive Algorithm for Color Demosaicking		2014 IEEE
概率统计法	Universal Demosaicking of Color Filter Arrays		2016 IEEE
后处理	Color filter array demosaicking : New method and performance measures		2003 IEEE
后处理	Color plane interpolation using alternating projections		2003 IEEE
独立NN	DRL Color image demosaicking via deep residual learning	https://github.com/csrjtan/CDM-CNN	2017 IEEE
独立NN	Deep Image Demosaicking using a Cascade of Convolutional Residual Denoising Networks		2018 ECCV
独立NN	DeepISP: Toward Learning an End-to-End Image Processing Pipeline	https://github.com/EliSchwartz/DeepISP	2018 IEEE
joint SR	Deep Residual Network for Joint Demosaicing and Super-Resolution		2018 CVPR
joint SR	Joint Demosaicing and Super-Resolution (JDSR): Network Design and Perceptual Optimization		2019 IEEE
joint NR	Joint Demosaicing and Denoising via Learned Nonparametric Random Fields	https://github.com/VLOGroup/joint-demosaicing-denoising-sem	2013 IEEE
joint NR	Learning joint demosaicing and denoising based on sequential energy minimization		2016 IEEE
joint NR	Deep joint demosaicking and denoising	https://github.com/mgharbi/demosaicnet_caffe	2016 ACM
joint NR	Joint demosaicing and denoising of noisy bayer images with ADMM		2017 IEEE
joint NR	Joint Demosaicing and Denoising with Self Guidance		2020 IEEE