摄像头基础知识(二)：Bayer、Raw与ISP

一、Bayer阵列

1. bayer格式数据，其一般格式是，奇数行为RGRG，偶数行一般为GBGB
2. bayer格式图片在一个滤镜上设置不同颜色，绿色格式数目是r和g像素之和

二、Bayer RAW和 RGB RAW

Bayer pattern( COLOR FILTER的结构 )分为两种：STD Bayer pattern 与 Pair pattern
STD Bayer pattern的结构是BG/GR的，其中又分为四种BGGR，GBRG，GRBG，RGGB
Pair Pattern的结构是BGBG/GRGR，即以四行为一个单位，前两行是BG的结构，后两行是GR的结构，这种结构是美光专门为此申请了专利的，主要是在输出TV模式（NTSC/PAL制）时用到。

Bayer Raw与RGB Raw的主要区别在于两者输出前经过的处理不同：

Bayer Raw：

1. 从ADC输出，只经过了LENS SHADING，GAMMA等模块处理而后就直接输出
2. 一个像素点由三种颜色合成：R&G&B

RGB Raw

1. 经过了整个ISP模块的处理，最终是经过YUV422的数据转化而来的
2. 一个像素点只有一种颜色：R/G/B

bayer raw需要demosic才能转成RGB raw（3通道）

三、ISP处理流程

各模块的功能和作用：

• RAW域：是指从DPC一直到demosaic阶段（此流程图）
• DPC:坏点矫正(bed pixelcorr),坏点由于芯片制造工艺等问题产生的，坏点是指亮度或者色彩与周围其他像素的点有非常大的区别，常用检测方法是在全黑环境下看亮点和彩点和在盖白板的情况下看黑点和彩点，ISP端一般通过在亮度域上取其他周围像素点均值来消除坏点
• BLC:黑电平矫正(Black level corr)，黑电平是指图像数据为0时对应的信号电平，进行黑电平矫正的目的；一是由于sensor本身会存在暗电流，导致在没有光照进来的条件下pixel也有电压输出，不过这部分一般在sensor端就已经处理掉了，还有一个原因是因为sensor进行模数转换时精度不够，以8bit为例，每个pixel有效范围是0-255，sensor可能无法将接近于0的信息转化出来，由于人眼特性（对暗处细节比较敏感，）所以sensor厂商一般在转换时会加一个固定的偏移量使像素输出在5（非固定值）—255之间，然后传输在ISP端再做一个减法，将5（非固定值）变为0
• Denosice:降噪.噪声在图像上常表现为一引起较强视觉效果的孤立像素点或像素块。一般在暗态下噪声表现尤为明显。影响人的主观视觉感受及对目标的观测，所以进行降噪，但是降噪一般伴随着细节的损失
• LSC: 镜头亮度矫正（lens shadingcorr）由于镜头光学系统原因（CRA），sensor中心光轴附件的pixle感光量比四周多，所以导致呈现出来的画面会中心亮四周暗（同时由于边缘入射角大，会造成相邻像素间串扰，严重时会导致角落偏色）。所以进行lsc的主要目的是为了让画面四周亮度与中心亮度一直，简单理解就是用过增加四周像素的gain值，来达到亮度一致
• AWB：自动白平衡（auto white balance），白平衡顾名思义就是让白色在任何色温下camera都能把它还原成白，由于色温的影响，一张白纸在低色温下会偏黄，高色温下会偏蓝，白平衡的目的就是白色物体在任何色问下都是R=G=B呈现出白色，比较常用的AWB算法有灰度世界，完美反射法等
• Demosica；颜色插值。SENSOR每个pixel只感知一种颜色分量（如流程图一开始所示），由于人眼对绿色比较敏感所以G的分量是R与B的两倍，所形成的图像称之为Bayer图，所以要通过颜色插值使每个pixel上同时包含RGB三个分量
• CCM :色彩校正（color corrmatrix），AWB已经将白色校准了，CCM就是用来校准白色除白色以外其他颜色的准确度的，用一个3X3的CCM矩阵来校准,其中每一列系数r1+g1+b1等于一个恒定值1。Ccm矫正最终结果可以通过拍摄24色卡图片然后用imatest分析来做分析参考
• Ygamma；由于最早期的显示器端，亮度与电流之间响应不线性的，而是以曲线形式（曲线称之为gamma曲线），camera为了配合显示器显示出正确的亮度所以有了摄像头的gamma曲线与显示器gamma曲线成反比（不是绝对的），后来随着显示器的工艺发展，显示器亮度与电流之间已经可以做成显性关系了，但是人们发现由于gamma曲线的存在，摄像头暗部才能信息更好保留显示，更符合人眼视觉感受，我们可以通过调整gamma曲线来调整摄像头的亮度，对比度，动态范围等等的效果
• EE：锐化，当物体锐化值过低时会出现边缘模糊，图像给人感觉不清晰，锐化过高就会导致图像出现锯齿白边等现象 CSM：色彩空间转化（color
  space matrix），RGB图像通过一个转转举止向SRGB等色彩空间转化的过程

P.S. 只有经过demosaic，才算是RGB Raw数据，格式是YUV

四、3A系统

3A系统的作用：感知现实环境，正确地配置相机，为其他的处理提供参考信息。


P.S.
AE分sensor ae和isp ae
Sensor AE : 由sensor控制，实时动态改变
ISP AE : 由ISP 的nito控制，在外界光亮度改变时改变

AE(auto exposure)的统计信息
主要包括R、G、B直方图和亮度信息

ROI(Region Of Interest)
AWB(auto white balance)统计信息

AF(auto focus)统计信息