【笔记】H.265/HEVC 视频编码（二）——数字视频格式

一、数字视频

视频技术泛指一系列的图像以电信号的方式加以捕捉、记录、处理、存储、传送与重现的各种技术。数字视频即以数字形式记录的视频，数字视频由一幅幅数字图像组成，每幅图像由N行，每行M个像素组成，每个像素由数字化的数值表示。
数字视频有视频分辨率、时间分辨率、帧率、色彩空间、量化深度等参数，这些参数的组合成为视频格式。时间分辨率即帧率，帧率越高流畅性越好，但当帧率到达一定程度后，再提高帧率，人眼是无法分辨出质量的好坏，因此，不必一味追求帧率。空间分辨率越高，图像细节越清晰。

1、颜色空间

（1）三基色原理

三基色原理的内容是自然界中的绝大部分彩色都可以由三种基色按一定比例混合得到，反之，任何一种彩色都可被分解为三个基色。这三个基色为红绿蓝。

（2）颜色空间

视频压缩中常用的颜色空间有RGB、YUV、YCbCr。

①RGB颜色空间

RGB（红绿蓝）是图像处理中最基本、最常用、面向硬件的颜色空间。采用RGB空间表示视频时，每个像素都用三个分量表示。RGB’颜色空间的分量与亮度密切相关，只要亮度改变，三个分量也会改变，因此不适用于图像处理。

②YUV颜色空间

YUV颜色空间主要用于优化彩色视频信号的传输，并使其向后兼容老式黑白电视。Y表示明亮度，即灰度值，通过RGB信号按一定比例叠加而成；U和V表示色度，U为RGB蓝色部分与亮度值的差异，V为红色部分与亮度值的差异。YUV色彩空间的一大特点就是亮度与色度分离。如果只有Y分量，没有UV分量，则图像是黑白灰度图像。

③YCbCr颜色空间

YCbCr与YUV类似，分量含义也一一对应。YCrCr是YUV压缩和偏移的版本。YCbCr主要用于图像、视频压缩的数字彩色信息表示。

2、量化深度

量化深度为像素值可以对应的量化等级，传统图像每个颜色分量用8比特来表示像素值。
数字成像系统的动态范围是指采集到的一帧图像中最大像素值与最小像素值的比，动态范围太小，会导致失去很多信息。

3、空间分辨率

数字图像表示为矩形像素矩阵，矩阵中的元素对应图像的像素。像素矩阵的行列数表示图像的空间分辨率。图像分辨率结合像素的宽高比就可以算出图像的显示宽高比。

二、数字视频格式

数字视频采集中，有两种采样方法：①使用相同的空间采样频率对亮度和色度信号进行采样；②使用不同的空间采样频率对亮度和色度信号进行采样。如果色度信号的空间采样频率比亮度信号的空间采样频率低，则成为色度亚采样。

1、色度亚采样

色度亚采样的基本依据是人眼对亮度的敏感性比色度信号高，因此可以减少色度的采样率，提高压缩质量。

（1）4:4:4的YCbCr格式

这个格式中，亮度和色度的分量在垂直和水平方向均具有相同的空间分辨率。适用于视频源设备和高质量视频信号处理。

（2）4:2:2的YCbCr格式

这个格式中，亮度和色度分量在垂直方向上的分辨率相同，但在水平方向上，亮度分量是色度分量的两倍。适用于彩色电视。

（3）4:1:1的YCbCr格式

这个格式中，亮度和色度分量在垂直方向上的分辨率依然相同，但在水平方向上，亮度分量是色度分量的4倍。适用于DVD上的格式。

（4）4:2:0的YCbCr格式

这是MPEG-2编码标准使用的视频格式，在水平和垂直方向对色度都进行2:1的抽象，在这个格式中，亮度分量在垂直和水平方向的分辨率都是色度分量的两倍。
图1 四种YCbCr格式示意图

2、数字视频格式的标准规范

国际标准化组织对视频格式进行了统一的规定，包括BT.601标清视频格式、BT.709高清视频格式及BT.1201超高清视频格式。

（1）BT.601标准

该标准规定了彩色电视图像转换成数字图像时的采样频率，RGB和YCbCr两个彩色空间的转换关系等。BT.601强调以分量形式进行数字化，即以亮度分量Y和两个色度分量R-Y、B-Y为基础分别进行采样、量化、编码。BT.601还规定数字图像均是隔行扫描信号，相邻的行属于两个不同的场。表1 给出了BT.601推荐的4:2:2采样格式和4:4:4采样格式的参数。
表1 4:2:2采样格式与4:4:4采样格式的参数对比

（2）BT.709标准

BT.709提出了两种高清晰度电视演播室参数方案：①传动的隔行扫描数字高清晰度电视（HDTV）视频格式，可以向下兼容普通清晰度电视；②方形像素通用数字高清晰度电视视频格式。传统的隔行扫描图像的垂直扫描类型为逐行或2:1隔行扫描。方形像素图像的扫描类型为正交取样结构、逐行和隔行扫描方式

（3）BT.1201标准

该建议认为空间和时间分辨率及图像宽高比应该足够灵活，意识和不同的场景。BT.1201在空间分辨率上提出了等级模型，图像的最小分辨率为1920*1080，HRI分为四个等级。

（4）其他常用格式

此处略。

三、H.265/HEVC编码视频格式

图2是视频通信的原理框图。前处理是将不同格式的视频源转换成统一的视频数据，这样一来，编解码器只需对特定的集中视频数据格式进行处理，解码后的视频再经过后处理转换会原格式的视频。
图2 视频通信的原理框图

1、编码图像格式

在H.265/HEVC中，编码视频采用统一的多级数据结构：
①编码视频为按顺序排列的图像序列；
②图像为一个或多个长方形采样矩阵，每个矩阵对应亮度或色度分量。
③像素对应矩阵的元素，元素值为像素的取值，元素的行列坐标表示像素空间位置。
编码视频格式主要包括编码图像格式，编码图像格式主要包括矩阵数量及空间关系、图像空间分辨率、量化深度等。编码图像格式的语法元素属于序列参数集（SPS），SPS是一组图像CVS的共有参数。
H.265/HEVC仅规定了四类编码图像格式：①仅有一个采样矩阵Y，对应单色图像中的亮度分量（Luma）；②一个亮度分量的采样矩阵和两个色度分量的采样矩阵（YCbCr或YCgCo）；③三个色度采样矩阵（GBR）；④其他。表2为H.265/HEVC支持的几种色度格式。
表2 H.265/HEVC支持的几种色度格式

当chroma_fomat_idc=3且separate_colour_plane_flag=1时，图像为三个独立的色度分量矩阵，编码时作为三个独立的单色分量处理。
H.265/HEVC允许像素的量化深度为8-14，且允许亮度的量化深度（bit_depth_luma_minus8）与色度的量化深度（bit_depth_chroma_minus8）不同。另外若conformance_window_flag=1，解码后的图像应按裁剪窗口进行裁剪后输出。

2、解码图像格式

解码图像格式除编码图像携带的格式信息，还包括扫描类型、图像类型、色彩空间等格式信息。其中扫描类型和图像类型为每幅图像所必需的，用于确定图像是逐行扫描的一帧，还是隔行扫描的顶场、隔行扫描的底场、隔行扫描的多场等。
与解码图像格式相关的语法有如下三个集合：①SPS的语法元素及profile_tier_level，是视频流中必须存在的语法元素，作用于一个CVS的所有图像。但解码器的解码过程会忽略，语法元素的值不影响解码器输出的结果。②VUI参数，主要包含解码图形的格式信息，如采样横纵比，颜色空间等。VUI参数也属于SPS，也是作用于一个CVS的所有图像，但VUI是可选参数，不一定存在，并且不影响解码过程。③SEI语法元素及pic_timing()，只作用于一幅图像，可选语法元素，不一定存在，不影响解码过程。

（1）扫描类型

扫描类型是指图像是逐行扫描还是隔行扫描。SEI中的source_scan_type表明每幅图像的扫描类型，为0表示隔行扫描，为1表示逐行扫描，为2表示未知，为3表示预留未来适用。但source_scan_type是可选语法元素，不一定存在，若存在，则应该与SPS的general_progressive_source_flag和general_interlaced_source_flag的取值一致，若不存在，可有后者推断得到。三者之间关系如下表3。

（2）图像结构

图像结构是指图像中像素的空间结构。
SEI中的pic_struct表示每幅图像的图像类型，但它是可选语法元素，所以存在时应与VUI的field_seq_flag取值一致；不存在时由field_seq_flag推断得到。fleld_seq_flag=0表示CVS中所有图像为帧，flied_seq_flag=1时，表示CVS中所有图像为场。当filed_seq_flag也无法获取时pic_struct设为0。SPS语法元素general_frame_only_constraint_flag作为必需的语法元素也表示图像类型，general_frame_only_constraint_flag=1表明CVS所有图像为帧。

（3）采样宽高比（PAR）

采样宽高比表示像素的宽度与高度的比值，结合空间分辨率可得到显示宽高比。采样宽高比由VUI的aspect_ratio_idc标识。

（4）过扫描

过扫描是指显示器输入图像的边缘附近部分像素在显示屏上不可见。VUI的语法元素overscan_appropriate_flag=1表示裁剪后的解码图像适合用过扫描，为0表示不适合用过扫描。

（5）视频格式

VUI的语法元素video_fomat表明了视频格式，如下表4。

（6）像素值特性

色度反映的是颜色的色调和饱和度。VUI语法元素colout_primaries表明RGB空间中RGB分量对应的色度坐标，matrix_coeffs表明亮度和色度信号与RGB的转换关系矩阵，结合video_full_range_flag可以确定解码器输出像素值对应的RGB空间的像素值。