camera（2）图像输出格式

一、sensor格式

1.Bayer

        Bayer阵列模拟人眼对色彩的敏感程度，采用1红2绿1蓝的彩色滤光片阵列，对光线进行过滤。光线经过Bayer滤光片，获取到R、G、B三个通道的图像。

        R通道和B通道分别只有1/4的像素被填充，G通道只有1/2的像素被填充。通过插值算法，将R、G、B三个通道的原始图填充，就可以得到完备的彩色图像。

Bayer阵列如下：

2.QBC(Quad Bayer Coding)

        QBC由4个具有不同曝光的相同颜色像素制成。在Quad Bayer排列中，相邻4像素为同色的彩色滤光片，兼顾了高感光度与高分辨率。也是我们熟知的4cell format。

        在夜景等低照度环境下拍摄时，将相邻4个像素的信号相加，可防止进光量下降，减少噪点。即使在低照度环境下拍摄，也能提升感光度，拍摄出低噪点的明亮照片与视频。这种技术不仅提升了图像的分辨率，还增强了相机在暗光环境下的表现。在白天的室外等明亮环境下拍摄时，可以通过Re-mosaic将Quad Bayer排列恢复到一般的Bayer排列，能够确保和Bayer同等的分辨率。

        注：Re-mosaic是一种先进的图像处理算法，用于将Quad Bayer排列的图像数据转换为传统的Bayer排列，以实现高分辨率拍摄。Re-mosaic技术的实现可以分为硬件和软件两种方式。硬件方式直接通过传感器实时输出转换后的Bayer模式图像，而软件方式则需要在后期处理中调用特定的算法库来完成这一转换过程。通常情况下，硬件方式因为处理速度快而被认为更为高效。

3.Binning

        Bining是指像素合并，将相邻的像素单元中感应的电荷加在一起，减少输出图像的分辨率，同时提高sensor的信噪比。

Bining的作用：

• 在低光环境拍摄提高亮度
• 降低图像数据量以获得更高帧率
• 减小图像输出分辨率需求以节省处理资源

        下图是2x2 Adjacent Pixel Binning mode，由水平和竖直方向2个像素合并成1个像素。

4.Binning V2H2 output

        下图是2x2 Adjacent Pixel Binning V2H2 mode，经过了两次由水平和竖直方向2个像素合并成1个像素。

二、Image Sensor类型

• YUV Sensor

        YUV Sensor输出的Data格式为YUV，图像的效果处理使用Sensor内部的ISP（图像处理器），BB（数据接收端）端接收YUV格式的data后只进行格式的转换，效果方面不进行处理，由于Sensor内部的ISP处理能力有限，且YUV Sensor的数据量比较大（YUV422的格式1个pixel2个byte），一般Size都比较小，常见的YUV sensor都是5M以下。

• Raw Sensor

        Raw Sensor输出的Data格式为Raw，图像的效果处理使用BB端的ISP，BB端接收Raw data后进行一系列的图像处理（OB(白平衡调整)，Shading(阴影校正)，AWB(自动白平衡)，Gamma(伽马校正)，EE(噪声降低)，ANR(去噪增强)等），效果方面由BB端控制，需要针对不同的模组进行效果调试，Raw sensor是目前的主流，数据量比YUV Sensor小（RAW10 格式的sensor 1个pixel 10个bit）使用平台ISP处理，能支持较大的size。