图像的YUV表示

本文是我在对YUV学习完后的一个记录总结，大多讲的都是一些值得注意或很常遇到的点。如果文中内容有误，还望在评论中提出，我会及时更正，感谢！

参考记录：
https://zhuanlan.zhihu.com/p/75735751
https://www.yuque.com/keith-an9fr/aab7xp/vng2pb
https://blog.csdn.net/go_str/article/details/80340564
https://blog.csdn.net/mydear_11000/article/details/49990637

1、什么是YUV？

我们通常会认为图像都是RGB格式的，但在实际的使用过程中，YUV格式的图像会更常见一些。相比RGB格式（红 - 绿 - 蓝）的图像而言，它只需要占用极少的带宽，能够节约不少的存储空间。因此，一般的视频采集芯片输出的码流是 YUV 格式的数据流

所以，了解 YUV 数据流至关重要，在介绍 YUV 格式之前，首先介绍一下我们熟悉的 RGB 格式。

【1】RGB
RGB 分别表示红( R )、绿( G )、蓝( B )，也就是三原色，将它们以不同的比例叠加，可以产生不同的颜色。

假设我们有一张 1920 * 1280 的图片，即代表着有 1920 * 1280 个像素点，其中，每个像素点都有红、绿、蓝三个原色，每个原色占用 8 位，也就是每个像素点占用 8 * 3 / 8 = 3 个字节。则，如果采用 RGB 的格式进行存储，那么，一张 1920 * 1280 大小的RGB图片需要占用：1920 * 1280 * 3 / 1024 / 1024 = 7.03MB 的存储空间

假设我们摄像头的FPS为25，即 1s 能够采集 25帧 的图像，则 1s 的视频需占用：1920 * 1280 * 3 * 25 / 1024 / 1024 = 175.78MB 的存储空间，空间的占用消耗较大。

【2】YUV
YUV 编码格式 采用了 Y (亮度，即灰阶值) 和 U、V (色度，描述的是色调和饱和度) 来表示每个像素的颜色。

其中，当 YUV 经过 缩放 和 偏移 后，也称为YCbCr，Y 指亮度分量；Cb 和 Cr 指色彩，Cb 指蓝色色度分量，而 Cr 指红色色度分量。
即：

• Y - 如果只显示Y的话，图像看起来会是一张黑白照
• U(Cb) - 是照片蓝色部分去掉亮度(Y)
• V(Cr) - 是照片红色部分去掉亮度(Y)

2、YUV 优点

由于人眼对色度的敏感程度低于对亮度的敏感程度，即 眼睛对于亮度的分辨要比对颜色的分辨精细一些。

因此，利用这个原理，可以把色度信息减少一点，人眼也无法查觉这一点，即 并不是每个像素点都需要包含了 Y、U、V 三个分量，根据不同的采样格式，可以每个 Y 分量都对应自己的 UV 分量，也可以几个 Y 分量共用 UV 分量。

相比于 RGB图片，YUV图片占用的存储空间更少。

3、YUV 采样格式

YUV 图像的主流采样方式有如下三种：

• YUV(4:4:4) 采样
• YUV(4:2:2) 采样
• YUV(4:2:0) 采样

【1】YUV(4:4:4)

YUV(4:4:4) 表示 Y、U、V 三分量采样率相同，即每个像素的三分量信息完整，都是 8 位，每个像素点占用 3 个字节。例：

四个像素为：[Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
采样的码流为：Y0 U0 V0 Y1 U1 V1 Y2 U2 V2 Y3 U3 V3
映射出的像素点为：[Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]

可以看到这种采样方式与 RGB 图像大小是一样的。

【2】YUV(4:2:2)

YUV 4:2:2 表示 U、V 分量的采样率是 Y 分量的一半。例：

四个像素为：[Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
采样的码流为：Y0 U0 Y1 V1 Y2 U2 Y3 U3
映射出的像素点为：[Y0 U0 V1]、[Y1 U0 V1]、[Y2 U2 V3]、[Y3 U2 V3]

其中，每采样一个像素点，都会采样其 Y 分量，而 U、V 分量都会间隔采集一个，映射为像素点时，第一个像素点和第二个像素点共用了 U0、V1 分量，以此类推。从而节省了图像空间。

比如，一张 1920 * 1280 大小的图片，采用 YUV 4:2:2 采样时的大小为：(1920 * 1280 * 8 + 1920 * 1280 * 8 * 2 * 0.5) / 8 / 1024 / 1024 = 4.69M

可以看出，比 RGB 节省了三分之一的存储空间。

【3】YUV(4:2:0) 【常用】

YUV 4:2:0 并不意味着不采样 V 分量。它指的是对每条扫描线来说，只有一种色度分量以 2:1 的采样率存储，相邻的扫描行存储不同的色度分量。也就是说，如果第一行是 4:2:0，下一行就是 4:0:2，在下一行就是 4:2:0，以此类推。

图像像素为：[Y0 U0 V0]、[Y1 U1 V1]、[Y2 U2 V2]、[Y3 U3 V3] [Y5 U5 V5]、[Y6 U6 V6]、 [Y7 U7 V7] 、[Y8 U8 V8]
采样的码流为：Y0 U0 Y1 Y2 U2 Y3 Y5 V5 Y6 Y7 V7 Y8
映射出的像素点为：[Y0 U0 V5]、[Y1 U0 V5]、[Y2 U2 V7]、[Y3 U2 V7] [Y5 U0 V5]、[Y6 U0 V5]、[Y7 U2 V7]、[Y8 U2 V7]

其中，每采样一个像素点，都会采样 Y 分量，而 U、V 分量都会 隔行 按照 2:1 进行采样。

一张 1920 * 1280 大小的图片，采用 YUV 4:2:0 采样时的大小为：(1920 * 1280 * 8 + 1920 * 1280 * 8 * 2 * 0.25) / 8 / 1024 / 1024 = 3.52M

相比 RGB，节省了一半的存储空间。

4、YUV 存储格式

YUV 数据有两种存储格式：平面格式（planar format）和 打包格式（packed format）

• planar format：先连续存储所有像素点的 Y，紧接着存储所有像素点的 U，随后是所有像素点的 V
• packed format：每个像素点的 Y、U、V 是连续交错存储的

5、YUV 与 RGB 转换

YUV 与 RGB 之间的转换，就是将图像所有像素点的 R、G、B 分量和 Y、U、 V分量相互转换。
有如下转换公式：

Y = 0.299 * R + 0.587 * G + 0.114 * B
Y = -0.169 * R - 0.331 * G + 0.5 * B + 128
Y = 0.5 * R - 0.419 * G - 0.081 * B + 128

R = Y + 1.13983 * (V - 128)
G = Y - 0.39465 * (U - 128) - 0.5806 * (V - 128)
B = Y + 2.03211 * (U - 128)