ISP浅谈-Demosaic

一.概念介绍 

大多数数码相机使用单个传感器阵列加上彩色滤光片捕捉图像，数据通过在黑白 cmos 图像传感器的基础上，增加彩色滤波结构和彩色信息处理模块获得图像的彩色信息， 再对该彩色信息进行处理， 就可以获得色彩逼真的彩色图像。通常把彩色图像传感器表面覆盖的滤波称为彩色滤波阵列（CFA）。虽然有很多不同的cfa模式可用，但是最常见的还是bayer格式。经过在ISP pipeline中cfa处理后得到bayer数据，一般bayer格式有rggb，gbrg/grbg，bggr，rccb等。

为了实现图像从Bayer模式到全彩色的图像的重建, 需要对图像中的每一个像素点进行插值, 利用其周围像素点的色彩值来估计出缺失的另外两个色彩值, 最终得到一个每个像素点包含红、绿、蓝三个像素值的全彩色图, 这个过程就叫做Demosaic。

 

图1 Cfa滤波

二、常见的异常现场或者算法评价关注点

2.1 拉链效应

由于插值不是沿着边缘方向进行的，导致插值后在水平或垂直方向上出现有一些像素点有规律的间隔分布, 就称为拉链效应。

图2 拉链效应

2.2 伪彩色

高频分量在图像插值时易引起高频混叠。例如用镜头对准一个分辨率测试卡，当 sensor 表面没有 OLPF 时，在分辨率的高频部分容易出现伪彩。

2.3 伪细节

由于sensor 感光特性及受噪声等影响，会出现不属于原始图像的细节，影响主观感受，称之为“伪细节”

2.4 crosstalk

由于sensor 可能会因为特殊角度的光线入射而产生Crosstalk，在demosaic插值时产生方格或其他类似pattern。形成这些pattern 的根本原因就是因为临近像素值之间Gr 和Gb 值不一致。

2.5 常用评价指标

常用的评价算法的客观指标有：Psnr，Cpsnr，S-SIELAB等。该客观评价一般用于学术界内算法的评估。

三、Demosaic 算法Introduction

去马赛克算法在将图像从bayer域转换到rgb域的同时，需要尽量将上述的异常现象减弱到最低(算法评价)。一般会结合有方向插值与无方向插值的方法，减弱异常现象的同时还需还原图像的细节。去马赛克算法是ISP算法中最基本，最重要的图像算法之一，并且该算法在isppipeline的位置比较靠前，对之后的算法模块影响较大，所以该模块至关重要。

简单的插值技术，例如最近邻或双线性插值可以应用于去马赛克的问题。然而，此类方法会忽略边缘结构和通道间的相关性，从而导致颜色伪彩和图像模糊。一种值得注意的早期去马赛克方法(Hamilton)，在初始化G分量时，使用红色和蓝色像素的二阶导数，这个想法成为许多后续算法的基本组成部分。

后续有作者提出使用颜色差异(color deference)的方差来决定采用哪个方向进行插值。DFPD算法提出在水平和垂直方向上执行插值，然后根据沿每个方向的梯度总和做出harddirection决策。

DLMMSE算法从沿水平和垂直方向计算 (G-R) 和 (G-B) 的颜色差异开始。然后，这些计算被视为对实际色差的噪声估计，并使用线性最小均方误差框架将它们优化组合。绿色通道插值完成后，使用原颜色差异信号和简单的双线性插值填充缺失的红色和蓝色通道像素.

GBTF解决了DLMMSE 算法中的一些限制。首先，由于其方向性，DLMMSE 算法仅使用目标像素的领域（与目标像素共享同一列或行的像素）的子集来找出每个方向对色差计算的贡献程度。尽管该解决方案在其自己的域中是最优的，但未考虑的相邻像素可能提供可以改进色差估计的附加信息。因此对于给定本地窗口内的每个相邻像素都包含在决策过程中。使用颜色差异的梯度来计算每个方向的权重。

更多算法大家可以参照相关的论文。

可关注公众号进行技术交流