YUV图像数据格式

1. YUV，分为三个分量，“Y”表示明亮度（Luminance或Luma），也就是灰度值；而“U”和“V” 表示的则是色度（Chrominance或Chroma），作用是描述影像色彩及饱和度，用于指定像素的颜色。YUV格式主要有YUV444, YUV422, YUV420, YV12, NV12, NV21。需要强调的是如何根据其采样格式来从码流中还原每个像素点的YUV值，因为只有正确地还原了每个像素点的YUV值，才能通过YUV与RGB的转换公式提取出每个像素点的RGB值并显示出来。

• YUV 4:4:4采样，每一个Y对应一组UV分量,一个YUV占8+8+8 = 24bits 3个字节;
• YUV 4:2:2采样，每两个Y共用一组UV分量,一个YUV占8+4+4 = 16bits 2个字节;
• YUV 4:2:0采样，每四个Y共用一组UV分量,一个YUV占8+2+2 = 12bits 1.5个字节;

2. YUV格式有两大类：planar，packed:

• 对于planar的YUV格式，先连续存储所有像素点的Y，紧接着存储所有像素点的U，随后是所有像素点的V;
• 对于packed的YUV格式，每个像素点的Y,U,V是连续交*存储的

3. YUV采样

最常见的YUV420P和YUV420SP都是基于4:2:0采样的，所以如果图片的宽为width，高为heigth，在内存中占的空间为width * height * 3 / 2，其中前width * height的空间存放Y分量，接着width * height / 4存放U分量，最后width * height / 4存放V分量。

 YUV420P有YU12和YV12两种格式。YU12在android平台下也叫作I420格式。

YU12: YYYYYYYY UUVV    =>    YUV420P
YV12: YYYYYYYY VVUU    =>    YUV420P

YUV420SP有NV21和NV12两种格式。

NV12: YYYYYYYY UVUV    =>YUV420SP
NV21: YYYYYYYY VUVU    =>YUV420SP

4. 如果直接采集到的视频数据是RGB24的格式，RGB24一帧的大小size＝width×heigth×3 Bit，RGB32的size＝width×heigth×4，如果是YU12（即YUV标准格式4：2：0）的数据量是 size＝width×heigth×1.5 Bit。 在采集到RGB24数据后，需要对这个格式的数据进行第一次压缩。即将图像的颜色空间由RGB2YUV。因为，X264在进行编码的时候需要标准的YUV（4：2：0）。但是这里需要注意的是，虽然YV12也是（4：2：0），但是YV12和YU12的却是不同的，在存储空间上面有些区别。如下：

YUV420P-YV12 ： 亮度（行×列） ＋ U（行×列/4) + V（行×列/4）

YUV420P-YU12 ： 亮度（行×列） ＋ V（行×列/4) + U（行×列/4）

YV12和YU12区别在于UV的顺序不同。

经过第一次数据压缩后RGB24－>YUV（I420）数据量将减少一半。同样，如果是RGB24－>YUV（YV12），也是减少一半。但是，虽然都是一半，如果是YV12的话效果就有很大损失？？？？？？？。然后，经过X264编码后，数据量将大大减少。将编码后的数据打包，通过RTMP(基于TCP)或SRT(基于UDP)实时传送。到达目的地后，将数据取出，进行解码。完成解码后，数据仍然是YUV格式的，所以，还需要一次转换，windows或linux驱动才可以处理，就是YUV2RGB24。

5. YUV与RGB转换

Y      =  (0.257 * R) + (0.504 * G) + (0.098 * B) + 16
Cr = V =  (0.439 * R) - (0.368 * G) - (0.071 * B) + 128
Cb = U = -(0.148 * R) - (0.291 * G) + (0.439 * B) + 128

B = 1.164(Y - 16) + 2.018(U - 128)
G = 1.164(Y - 16) - 0.813(V - 128) - 0.391(U - 128)
R = 1.164(Y - 16) + 1.596(V - 128)

根据上述转换公式，当U和V分量都为128时，图像只保留Y分量信息会变为灰度图。

6. 使用ffmpeg库将jpg格式图像转为yuv格式图片：

ffmpeg -i input.jpg -s 510x510 -pix_fmt yuv420p output.yuv

使用ffplay来播放yuv格式的文件：

ffplay -f rawvideo -video_size 510x510 output.yuv

# 查看yuv格式图片
ffplay -pixel_format nv21 -video_size 510*510 output.yuv
ffplay -pixel_format yuyv420 -video_size * *

# 查看实时视频流
ffplay /dev/video0

7. 代码示例：

1. 功能：（1）分离YUV文件各个分量 (2)改变UV分量值将YUV图像转为灰度图

#include <string.h>
#include <stdio.h>
#include <stdlib.h>

void SplitYuv420p_y_AndSavetoYUVFile(char *inputPath, char *outputPath, int width, int height) 
{

    FILE *inFile = fopen(inputPath, "rb+");
    FILE *outFile = fopen(outputPath, "wb+");

    unsigned char *data = (unsigned char *) malloc(width * height * 3 / 2);

    fread(data, 1, width * height * 3 / 2, inFile); //read y
    //Y
    fwrite(data, 1, width * height, outFile); //write y

    unsigned char *buffer = (unsigned char *) malloc(width * height / 4);
    memset(buffer, 0x80, width * height / 4);
    //U
    fwrite(buffer, 1, width * height / 4, outFile); //write u
    //V
    fwrite(buffer, 1, width * height / 4, outFile); //write v

    free(buffer);
    free(data);
    fclose(inFile);
    fclose(outFile);
}


void SplitYuv420(char *inputPath, int width, int height)
{

    FILE *fp_yuv = fopen(inputPath, "rb+");
    FILE *fp_y = fopen("output_420_y.raw", "wb+");
    FILE *fp_u = fopen("output_420_u.raw", "wb+");
    FILE *fp_v = fopen("output_420_v.raw", "wb+");

    unsigned char *data = (unsigned char *) malloc(width * height * 3 / 2);

    fread(data, 1, width * height * 3 / 2, fp_yuv);
    //Y
    fwrite(data, 1, width * height, fp_y);
    //U
    fwrite(data + width * height, 1, width * height / 4, fp_u);
    //V
    fwrite(data + width * height * 5 / 4, 1, width * height / 4, fp_v);

    //release resources
    free(data);

    fclose(fp_yuv);
    fclose(fp_y);
    fclose(fp_u);
    fclose(fp_v);
}

int main(int argc, char **argv)
{
    char yuvpath[128] = "/home/chang/test/yuv_test/input.yuv";
    char outpath[128] = "/home/chang/test/yuv_test/output.yuv";
    
    SplitYuv420(yuvpath, 510, 510);
    SplitYuv420p_y_AndSavetoYUVFile(yuvpath, outpath, 510, 510);

    return 0;
}