【图像基础知识】常见图像格式

原文来自于地平线开发者社区，未来会持续发布深度学习、板端部署的相关优质文章与视频，如果文章对您有帮助，麻烦给点个赞，如果您有兴趣一起学习，欢迎点个关注：寻找永不遗憾(CSDN用户名)

1 简介

随着人工智能的发展，深度神经网络在视觉领域“百花齐放”，为了满足不同场景的需求，我们会接触到多种图像数据格式，本文将为大家详细地介绍深度学习场景中常用的图像数据格式：RGB、BGR、YUV(YUV444、NV12)、Gray。

2 RGB

RGB是一种常见的彩色图像格式，图像的每一个像素点都会存储红（Red）、绿（Green）、蓝（Blue） 三个颜色通道的亮度值（ 0 ~ 255，UINT8 ）。基于此，如果按（R，G，B）的方式记录，那么（255,0,0）、（0,255,0）、（0,0,255）可以分别表示最纯粹的 红、绿、蓝，效果如下图所示。特殊地，若 RGB 三个通道的数值均为 0，综合得到黑色；若三个通道的数值均取最大值 255，综合得到白色。

RGB 可表示的色彩数量可达256x256x256≈1677 万，远超人眼的感知范围（约 1000 万种），因此，RGB 被广泛应用于各种显示领域，与大家的日常生活息息相关。
然而，RGB 在表示颜色时有一个特点，每个像素点必须同时存储 R、G、B 三个通道数值，即每个像素点需要3个字节的存储空间，针对视频场景的存储与传输是非常不友好的，会占用大量的空间和带宽。

3 BGR

BGR图像格式与RGB类似，只是红、绿、蓝三个通道的排列顺序不同。在BGR格式中，像素点的通道顺序是蓝、绿、红，在RGB格式中，像素点的通道顺序是红、绿、蓝。
BGR格式常用于OpenCV等计算机视觉库中，是一些软件和硬件的默认图像格式，与这些软件和硬件的兼容性更好。
BGR与RGB一样，数据量较大，不适合视频场景的存储与传输。因此，我们还需要其他的图像格式，用来替代 RGB/BGR 用于视频领域，此时，YUV闪亮登场。

4 YUV

YUV是一种彩色图像格式，其中Y表示亮度（Luminance），用于指定一个像素的亮度（可以理解为是黑白程度），U和V表示色度（Chrominance或Chroma），用于指定像素的颜色，每个数值都采用UINT8表示，如下图所示。YUV格式采用亮度-色度分离的方式，也就是说只有U、V参与颜色的表示，这一点与RGB是不同的。

不难发现，即使没有 U、V 分量，仅凭 Y 分量我们也能 “识别” 出一幅图像的基本内容，只不过此时呈现的是一张黑白图像。而 U、V 分量为这些基本内容赋予了色彩，黑白图像演变为了彩色图像。这意味着，我们可以在保留 Y 分量信息的情况下，尽可能地减少 U、V 两个分量的采样，以实现最大限度地减少数据量，这对于视频数据的存储和传输是有极大裨益的。这也是为什么，YUV 相比于 RGB 更适合视频处理领域。

4.1 YUV常见格式

据研究表明，人眼对亮度信息比色彩信息更加敏感。YUV下采样就是根据人眼的特点，将人眼相对不敏感的色彩信息进行压缩采样，得到相对小的文件进行播放和传输。根据Y和UV的占比，常用的YUV格式有：YUV444，YUV422，YUV420三种。
用三个图来直观地表示不同采集方式下Y和UV的占比。

YUV444：每一个 Y 分量对应一对 UV 分量，每像素占用 3 字节（Y + U + V = 8 + 8 + 8 = 24bits）；
YUV422：每两个 Y 分量共用一对 UV 分量，每像素占用 2 字节（Y + 0.5U + 0.5V = 8 + 4 + 4 = 16bits）；
YUV420：每四个 Y 分量共用一对 UV 分量，每像素占用 1.5 字节（Y + 0.25U + 0.25V = 8 + 2 + 2 = 12bits）；
此时来理解 YUV4xx 中的4，这个4，实际上表达了最大的共享单位！也就是最多4个Y共享一对UV。

4.2 YUV420详解

在YUV420中，一个像素点对应一个Y，一个4X4的小方块对应一个U和V，每个像素占用1.5个字节。依据不同的UV分量排列方式，还可以将YUV420分为YUV420P和YUV420SP两种格式。
YUV420P是先把U存放完，再存放V，排列方式如下图：

YUV420SP是UV、UV交替存放的，排列方式如下图：

此时 ，相信大家就可以理解为什么 YUV420 数据在内存中的长度是 width * height * 3 / 2 啦！

4.3 NV12

NV12图像格式属于YUV颜色空间中的YUV420SP格式，每四个Y分量共用一组U分量和V分量，Y连续存放，U与V交叉存放。
NV12在保持图像亮度信息的同时，数据量是RGB/BGR等格式的一半，可以减少模型加载输入数据的时间，因此，嵌入式端通常选用NV12作为部署时的图像数据输入。
在一些嵌入式端模型推理的场景下，计算硬件申请DDR内存存储NV12数据时，又可以细分为两种情况，在此分别命名为 HB_DNN_IMG_TYPE_NV12 数据格式和 HB_DNN_IMG_TYPE_NV12_SEPARATE 数据格式。
对于HB_DNN_IMG_TYPE_NV12 数据格式，Y分量和UV分量存储在一片连续的内存空间中，对于HB_DNN_IMG_TYPE_NV12_SEPARATE 数据格式，Y分量和UV分量分别存储在两块不同的内存空间中。

5 Gray

Gray图像格式，也称为灰度图像格式，是一种单通道图像格式。在Gray图像中，每个像素只包含一个亮度值，每个数值都采用UINT8表示，即0~255之间的整数。这个亮度值表示图像中每个像素的明暗程度，取值越大表示像素越亮，取值越小表示像素越暗。
Gray图像格式也是其他彩色图像格式（如RGB、YUV等）转换为单通道图像时的一种常见格式，只包含图像的亮度信息，图像数据相对较小，针对一些对图像色彩信息不太敏感的场景，仍然具有重要的应用价值。

6 图像格式之间的转换

了解不同图像格式应用场景之后，不知道大家有没有这样的疑惑：既然在图像采集、显示方面，我们主要使用 RGB，但是在图像存储、处理、传输方面，我们又要选择 YUV，在一个完整的应用场景中，可能会需要用到不同的图像格式，这时该怎么办呢？
图像格式转换华丽登场解决了这个问题，那如何实现图像格式之间的转换呢？可以简单地理解为，有一个“标准”，基于这个标准，通过一定的数学运算即可完成不同图像格式之间的转换。下面以计算机视觉库opencv封装好的函数为例，看一下如何实现图片格式转换：

import cv2

# 读取图片，opencv读取图片默认为BGR格式
bgr_img = cv2.imread('example.jpg')
cv2.imwrite('bgr_image.jpg', bgr_img)

# 将BGR格式转换为RGB格式
rgb_img = cv2.cvtColor(bgr_img, cv2.COLOR_BGR2RGB)
cv2.imwrite('rgb_image.jpg', rgb_img)

# 将BGR格式转换为YUV444格式
yuv_img = cv2.cvtColor(bgr_img, cv2.COLOR_BGR2YUV)
cv2.imwrite('yuv_image.jpg', yuv_img)

# 将BGR格式转换为GRAY格式
gray_img = cv2.cvtColor(bgr_img, cv2.COLOR_BGR2GRAY)
cv2.imwrite('gray_image.jpg', gray_img)

地平线工具链开发包OpenExplorer中提供了常见图像格式之间的转换源码（例如：RGB2NV12、BGR2RGB等），图片处理常用transformer说明文档请参考用户手册 图片处理transformer说明 章节，对应的源码位于OE开发包的ddk/samples/ai_toolchain/horizon_model_convert_sample/01_common/python/data路径下，欢迎感兴趣的同学参考使用。
最后，不同的图像格式具有不同的性能和优缺点，实际使用时，大家可以根据自己的需求，个性化选择图像格式。

7 参考链接

https://blog.csdn.net/onion2007/article/details/46805335
https://zhuanlan.zhihu.com/p/538058910
https://zhuanlan.zhihu.com/p/248116694
https://blog.csdn.net/zego_0616/article/details/126658494
https://blog.csdn.net/luoyingxing/article/details/108516163