Sensor信号输出YUV、RGB、RAW DATA、JPEG 4种方式区别

简单来说,
YUV: luma (Y) + chroma (UV) 格式， 一般情况下sensor支持YUV422格式，即数据格式是按Y-U-Y-V次序输出的
RGB: 传统的红绿蓝格式，比如RGB565，其16-bit数据格式为5-bit R + 6-bit G + 5-bit B。G多一位，原因是人眼对绿色比较敏感。
RAW RGB: sensor的每一像素对应一个彩色滤光片，滤光片按Bayer pattern分布。将每一个像素的数据直接输出，即RAW RGB data
JPEG: 有些sensor，特别是低分辨率的，其自带JPEG engine，可以直接输出压缩后的jpg格式的数据

对于这几种输出格式，几个疑问： 
1、 有些手机基带芯片只能支持2M以下的YUV sensor，3M以上只能使用JPEG sensor，这里说明YUV输出格式对基带芯片有一定的要求， 那么到底YUV sensor对基带芯片有怎样的要求呢？
2、 如果直接输出RGB，对于LCD的显示是最方便的，那么为何大多数基带芯片都是要求输出为YUV格式的数据再进行处理呢？

1 YUV一个像素占2B，如果像素太高在高时钟下基带芯片处理不过来，JPEG数据量就要小的多，所以不是YUV对基带芯片有要求而是基带芯片对输出数据速率有要求。
2 RGB565一般用在很低端的基带芯片上，直接往屏上刷。YUV输出亮度信号没有任何损失，而色偏信号人眼并不是特别敏感，RGB565输出格式是R5G3 G3B5会丢掉很多原始信息，所以YUV图像质量和稳定性要比RGB565好的多
3 RAW数据每个像素就1B，数据量要少很多，一般5M以上sensor就只输出RAW数据以保证比较快的输出速度，后端挂一个DSP来处理输出的数据。
--------------------------------------------------------------------------------
RAW和JPEG的区别 
RAW格式文件基本上是一个没有经任何图像处理的源文件， 它能原原本本地记录相机拍摄到的信 息，没有因为图像处理（如锐化、增加色彩对比）和压缩而造成的信息丢失，但需要用特别的软件 来打开这些文件。 另一种常用的格式便是JPEG，相机会先根据使用者的设定来做一定的图像处理，然后经过压缩 （程度因相机内设定的照片质量而定）和保存照片。 为何要拍摄RAW？ RAW是一种专业摄影师常用的格式，因为它能原原本本地保存信息，让用户能大幅度对照片进行 后期制作，如调整白平衡、曝光程度、颜色对比等设定，也特别适合新手补救拍摄失败的照片，而 且无论在后期制作上有什么改动，相片也能无损地回复到最初状态，不怕因意外储存而损失照片。 

RAW还有一个好处，例如佳能DPP软件可以修正镜头失光、变形等。 JPEG格式有什么优点？ JPEG格式为一种非常普及的照片格式，差不多所有现代数码相机都能使用这个格式，绝大部分 的计算机上也能打开JPEG文件，使用者也可以随意设定压缩程度来保留画质（最佳的JPEG画质跟RAW 的非常接近），是一种十分方便的格式。 

我该拍摄RAW还是JPEG？ 在讨论这个问题之前，让我们看看RAW格式有什么缺点： 1.因为RAW文件需要保留所有细节和信息，所以文件比JPEG大很多，这样储存照片或把照片传输 到计算机的时间便更长更久，需要的储存容量也更大； 2.RAW文件需要使用特别的软件来打开，一旦计算机没有安装软件便没法打开文件； 3.承上，一旦10年后那套特定的软件没法安装，之前拍摄的照片便没有办法打开； 4.软件打开RAW的时间比较长，快的需要8、9s，慢的可能要用上20s也说不定； 5.不同的软件有不同的方式去“演译”RAW文件，所以一个RAW文件在Photoshop 和Nikon Capture NX看可能会有所差别； 6.厂商卖的专用软件价钱不低。（佳能DPP可以免费下载，尼康NX则需另购） 清楚RAW的缺点以后，我们便可以看看哪种情况应该选择RAW或JPEG： 如果你需要拍摄大量的照片，应该考虑使用JPEG，因为其容量需求比较少和可以保留后制及把 照片转换为JPEG的时间； 如果你用作商业拍摄或喜欢后期制作，应该使用RAW，因为后制空间较大； 如果你正进行旅行摄影，可以考虑使用RAW或者RAW+JPEG，因为旅行的地方可能没法常去，使用 RAW让你一旦拍摄失败也有较大的机会补救。 后记 其实现在Photoshop的功能很强大，对于JPEG文件也能通过level或curve来调较曝光、白平衡、 色彩对比等，当然如果需要做大幅度的调整还是RAW文件比较适合的。

摄像头数据格式

摄像头的数据输出格式一般分为CCIR601、CCIR656、RAW RGB等格式，此处说的RGB格式应该就是CCIR601或CCIR656格式。而RAW RGB格式与一般的RGB格式是有区别的。
我们知道，Sensor的感光原理是通过一个一个的感光点对光进行采样和量化，但，在Sensor中，每一个感光点只能感光RGB中的一种颜色。所以，通常所说的30万像素或130万像素等，指的是有30万或130万个感光点。每一个感光点只能感光一种颜色。

但是，要还原一个真正图像，需要每一个点都有RGB三种颜色，所以，对于CCIR601或656的格式，在Sensor模组的内部会有一个ISP模块，会将Sensor采集到的数据进行插值和特效处理，例如：如果一个感光点感应的颜色是R，那么，ISP模块就会根据这个感光点周围的G、B感光点的数值来计算出此点的G、B值，那么，这一点的RGB值就被还原了，然后在编码成601或656的格式传送给Host。

而RAW RGB格式的Sensor则是将没个感光点感应到的RGB数值直接传送给Host，由Host来进行插值和特效处理。

Raw RGB 每个像素只有一种颜色（R、G、B中的一种）； 
RGB 每个像素都有三种颜色，每一个的值在0~255之间； 
在手机摄像头的测试过程中，由sensor输出的数据就是Raw data（Raw RGB），经过彩色插值就变成RGB

 sensor输出的数据格式，主要分两种：YUV（比较流行），RGB，这就是sonsor的数据输出；这其中的GRB就是Raw RGB，是sensor的bayer阵列获取的数据（每种传感器获得对应的颜色亮度）； 
但是输出的数据不等于就是图像的实际数据，模组测试时，就要写一个软件，完成数据采集（获得Raw data）－>彩色插值（目的是获得RGB格式，便于图像显示）－>图像显示； 
这样就可以发现整个模组是否正常，有无坏点，脏点的等，检测出不良品；（软件的处理过程当中，为了获得更好的图像质量，还需要白平衡，gamma校正，彩色校正） 
而在手机的应用中，手机根据相机模组的数据格式，提供一个ISP（主要用于RGB格式的），配合软件，使照相功能得到应用；

对于SENSOR来说,Bayer RGB和RGB Raw两者的图象结构都是BG/GR的(Bayer pattern说的是COLOR FILTER的结构,分为两种：STD Bayer pattern 与Pair pattern，其中STD Bayer pattern的结构是BG/GR的，而Pair Pattern顾名思义是指BGBG/GRGR的结构，即以四行为一个单位，前两行是BG的结构，后两行是GR的结构，这种结构是美光专门为此申请了专利的，主要是在输出TV模式（NTSC/PAL制）时用到），
由于后端应用时，对RAW DATA图像的 解码是按默认的结构来 解码的 ，如BG/GR，因此 Bayer RGB和RGB Raw两者的图象结构必须都是BG/GR的，而如果输出图像结构是BGBG/GRGR，则不可以直接显示和解码 的。
Bayer RGB与RGB Raw的主要区别在于两者输出前经过的处理不同，Bayer RGB从ADC输出，只经过了LENS SHADING CORRECTION，GAMMA等模块处理而后就直接输出，而RGB Raw则经过了整个ISP模块的处理，最终是经过YUV422的数据转化而来的