RGB，YUV的来历及其相互转换

在视频等相关的应用中，YUV 是一个经常出现的格式。本文主要以图解的资料的形式详细描述 YUV 和 RGB 格式的来由，相互关系以及转换方式，并对 C 语言实现的 YUV 转为 RGB 程序进行介绍。

         人类眼睛的色觉，具有特殊的特性，早在上世纪初， Young （ 1809 ）和 Helmholtz （ 1824 ）就提出了视觉的三原色学说，即：视网膜存在三种视锥细胞，分别含有对红、绿、蓝三种光线敏感的视色素，当一定波长的光线作用于视网膜时，以一定的比例使三种视锥细胞分别产生不同程度的兴奋，这样的信息传至中枢，就产生某一种颜色的感觉。

       70年代以来，由于实验技术的进步，关于视网膜中有三种对不同波长光线特别敏感的视锥细胞的假说，已经被许多出色的实验所证实 。 例如：①有人用不超过单个视锥直径的细小单色光束，逐个检查并绘制在体（最初实验是在金鱼和蝾螈等动物进行，以后是人）视锥细胞的光谱吸收曲线 ，发现所有绘制出来的曲线不外三种类型，分别代表了三类光谱吸收特性不同的视锥细胞，一类的吸收峰值在 420nm处，一类在 534nm处，一类在 564nm处，差不多正好相当于蓝、绿、红三色光的波长。与上述视觉三原色学说的假设相符。②用微电极记录单个视锥细胞感受器电位的方法，也得到了类似的结果，即不同单色光所引起的不同视锥细胞的超极化型感受器电位的大小也不同，峰值出现的情况符合于三原色学说。

于是，在彩色显示器 还没有发明的时候，人类已经懂得使用三原色光调配出所有颜色的光。并不是说三原色混合后产生了新的频率的光，而是给人眼睛的感觉是这样。


在显示器发明之后，从黑白显示器发展到彩色显示器，人们开始使用发出不同颜色的光的荧光粉（ CRT ，等离子体显示器），或者不同颜色的滤色片（ LCD ），或者不同颜色的半导体发光器件（ OLED 和 LED 大型全彩显示牌）来形成色彩，无一例外的选择了 Red,Green,Blue 这 3 种颜色的发光体作为基本的发光单元。通过控制他们发光强度，组合出了人眼睛能够感受到的大多数的自然色彩。

         计算机显示彩色图像的时候也不例外，最终显示的时候，要控制一个像素中 Red,Green,Blue 的值，来确定这个像素的颜色。计算机中无法模拟连续的存储从最暗到最亮的量值，而只能以数字的方式表示。于是，结合人眼睛的敏感程度，使用 3 个字节（ 3*8 位）来分别表示一个像素里面的 Red,Green 和 Blue 的发光强度数值，这就是常见的 RGB 格式。我们可以打开画图板，在自定义颜色工具框中，输入 r,g,b 值，得到不同的颜色。



但是对于视频捕获和编解码等应用来讲，这样的表示方式数据量太大了。需要想办法在不太影响感觉的情况下，对原始数据的表示方法进行更改，减少数据量。

          无论中间处理过程怎样，最终都是为了展示给人观看，这样的更改，也是从人眼睛的特性出发，和发明 RGB 三原色表示方法的出发点是一样的。

         于是我们使用 Y,Cb,Cr 模型来表示颜色。 Iain 的书中写道： The human visual system (HVS) is less sensitive to colour than to luminance (brightness). 人类视觉系统（其实就是人的眼睛）对亮度的感觉比对颜色更加敏感。

         在 RGB 色彩空间中，三个颜色的重要程度相同，所以需要使用相同的分辨率进行存储，最多使用 RGB565 这样的形式减少量化的精度，但是 3 个颜色需要按照相同的分辨率进行存储，数据量还是很大的。所以，利用人眼睛对亮度比对颜色更加敏感，将图像的亮度信息和颜色信息分离，并使用不同的分辨率进行存储，这样可以在对主观感觉影响很小的前提下，更加有效的存储图像数据。

        YCbCr 色彩空间和它的变形（有时被称为 YUV ）是最常用的有效的表示彩色图像的方法。 Y 是图像的亮度（ luminance/luma ）分量，使用以下公式计算，为 R,G,B 分量的加权平均值：

        Y = kr R + kgG + kbB

        其中 k 是权重因数。

        上面的公式计算出了亮度信息，还有颜色信息，使用色差（ color difference/chrominance 或 chroma ）来表示，其中每个色差分量为 R,G,B 值和亮度 Y 的差值：

　　 Cb = B － Y

　　 Cr = R － Y

Cg = G － Y

其中， Cb+Cr+Cg 是一个常数（其实是一个关于 Y 的表达式），所以，只需要其中两个数值结合 Y 值就能够计算出原来的 RGB 值。所以，我们仅保存亮度和蓝色、红色的色差值，这就是 (Y,Cb,Cr) 。

相比 RGB 色彩空间， YCbCr 色彩空间有一个显著的优点。 Y 的存储可以采用和原来画面一样的分辨率，但是 Cb,Cr 的存储可以使用更低的分辨率。这样可以占用更少的数据量，并且在图像质量上没有明显的下降。所以，将色彩信息以低于量度信息的分辨率来保存是一个简单有效的图像压缩方法。

在 COLOUR SPACES .17 ITU-R recommendation BT.601 中，建议在计算 Y 时，权重选择为 kr=0.299,kg=0.587,kb=0.114 。于是常用的转换公式如下：

Y = 0.299R + 0.587G + 0.114B

Cb = 0.564(B － Y )

Cr = 0.713(R － Y )

R = Y + 1.402Cr

G = Y - 0.344Cb - 0.714Cr

B = Y + 1.772Cb

有了这个公式，我们就能够将一幅 RGB 画面转换成为 YUV 画面了，反过来也可以。下面将画面数据究竟是以什么形式存储起来的。

在 RGB24 格式中，对于宽度为 w, 高度为 h 的画面，需要 w*h*3 个字节来存储其每个像素的 rgb 信息，画面的像素数据是连续排列的。按照 r(0,0),g(0,0),b(0,0);r(0,1),g(0,1),b(0,1);…;r(w-1,0),g(w-1,0),b(w-1,0);…;r(w-1,h-1),g(w-1,h-1),b(w-1,h-1) 这样的顺序存放起来。

在 YUV 格式中，以 YUV420 格式为例。宽度为 w 高度为 h 的画面，其亮度 Y 数据需要 w*h 个字节来表示（每个像素点一个亮度）。而 Cb 和 Cr 数据则是画面中 4 个像素共享一个 Cb,Cr 值。这样 Cb 用 w*h/4 个字节， Cr 用 w*h/4 个字节。

YUV 文件中，把多个帧的画面连续存放。就是 YUV YUV YUV….. 这样的不断连续的形式，而其中每个 YUV ，就是一幅画面。

在这单个 YUV 中，前 w*h 个字节是 Y 数据，接着的 w*h/4 个字节是 Cb 数据，再接着的 w*h/4 个字节为 Cr 数据。

在由这样降低了分辨率的数据还原出 RGB 数据的时候，就要依据像素的位置找到它对应的 Y,Cb,Cr 值，其中 Y 值最好找到，像素位置为 x,y 的话， Y 数据中第 y*width+x 个数值就是它的 Y 值。 Cb 和 Cr 由于是每 2x2 像素的画面块拥有一个，这样 Cb 和 Cr 数据相当于两个分辨率为 w/2 * h/2 的画面，那么原来画面中的位置为 x,y 的像素，在这样的低分辨率画面中的位置是 x/2,y/2 ，属于它的 Cb,Cr 值就在这个地方： (y/2)*(width/2)+(x/2) 。

为了直观起见，再下面的图中，分别将 Y 画面 (Cb,Cr=0) 和 Cb,Cr 画面 (Y=128) 显示出来，可见 Cb,Cr 画面的分辨率是 Y 画面的 1/4 。但是合成一个画面之后，我们的眼睛丝毫感觉不到 4 个像素是共用一个 Cb,Cr 的。

Cb,Cr 画面

将 Cb,Cr 画面放大观察，里面颜色相同的块都是 2x2 大小的。

附件为 Windows Mobile 上使用公式进行 YUV 到 RGB 转换的程序。其中需要注意的是 Cb,Cr 在计算过程中是会出现负数的，但是从 -128 到 127 这些数值都用一个字节表示，读取的时候就映射 0 到 255 这个区间，成为了无符号的值，所以要减去 128 ，才能参与公式计算。这样的运算有浮点运算，效率是比较低的，所以要提高效率的话，一般在实用程序中使用整数计算或者查表法来代替。还有，运算后的 r,g,b 可能会超过 0-255 的区间，作一个判断进行调整就可以了。

     不过这里面的YUV TO RGB的算法,效率实在是低,因为里面有了浮点运算,解一帧176*144的图像大概需要400ms左右,这是无法忍受的,如果消除浮点运算,只需要10ms左右,效率的提升真是无法想象.所以大家还是避免在手机上面进行浮点运算.