光线中主要包含三种颜色信息,即R、G、B。但是由于像素只能感应光的亮度,不能感应光的颜色,同时为了减小硬件和资源的消耗,必须要使用一个滤光层,使得每个像素点只能感应到一种颜色的光。目前主要应用的滤光层是bayer GRBG格式。如下图所示:
Bayer pattern
我们当前所有的数字化的Camera,都要感谢Bryce E.Bayer。是他开创了当前色彩缤纷包罗万象的数字图像传感器的先河。是他最先想到的用Color Filter的方式来获取现实世界的彩色投影(来自维基百科)。这些红、绿、蓝色是盖在感光三极管上面的,作用就是将环境光分离出三个颜色来。如图这个filter Pattern叫做GBRG,这个顺序很关键,Demosaic的时候需要重点用到。
这样,经过滤色板的作用之后,每个像素点只能感应到一种颜色。必须要找到一种方法来复原该像素点其它两个通道的信息,寻找该点另外两个通道的值的过程就是颜色插补的过程。由于图像是连续变化的,因此一个像素点的R、G、B的值应该是与周围的像素点相联系的,因此可以利用其周围像素点的值来获得该点其它两个通道的值。目前最常用的插补算法是利用该像素点周围像素的平均值来计算该点的插补值。如下图所示,左侧是RAW域原始图像,右侧是经过插值之后的图像。
常用的图像数据集是Kodak Data,在手机终