视频编解码标准情况概述

视频编解码技术框架

现有的视频编解码框架实际上从上世纪70年代以来几乎没有大的变化。

<图片来源：贾川民, 赵政辉, 王苫社,等. 基于神经网络的图像视频编码[J]. 电信科学, 2019, 35(05):38-48.>

• （1）编码器技术流程包括：
  输入视频经过划分成块单位（blocked-based coding），然后通过帧内/帧间的预测（块划分、运动预测、运动补偿）来消除时间、空间、视觉等冗余，与原始图像进行差分得到残差图像，然后再经过变换、量化、熵解码等流程，得到输出码流。为了进一步提升视频编解码的效果，再量化之后会进行反量化、反变换，再结合预测单元的结果合成近似原图像，经过滤波处理形成解码图像缓冲区，可以为图像预测单元提供支持，整个流程是反馈进行的。
• （2）解码器技术流程包括：
  输入码流经过解析单元之后，可以通过反量化、反变换得到残差图像，，通过预测单元（运动预测、帧内预测）得到预测图像，形成解码图像缓冲区；残差图像和预测图像合成之后，再经过滤波可得到解码图像缓冲区，也可以用来支持预测单元，而解码图像同时可输出得到解码视频。

编解码标准

视频编码标准化的是码流结构和解码算法，而对编码器的编码过程没有明确要求，但所有能将码流正确解析出视频的解码器都视为服从标准要求。码流结构包括字段（Syntax）、语义（Semantic）、字段的组织方式（Syntax Structure）、数据结构和限制条件。解码过程是通过解码算法来解析码流获得字段取值，从而恢复出编码之前的视频数据。

码流结构包括高层语法和辅助信息，高层语法包括参数集与头信息、图像划分、随机接入、控制参数，辅助信息包括视频格式、显示呈现方式等。

解码方法中，预测方法包括帧内预测、帧间预测、运动信息编码、参考图像管理。熵解码包含时间构造方法、参数二值化方法、概率模型和算术编码。变换量化包括变换方法与变换矩阵、系数量化方法、量化参数表示方法。环路滤波包括滤波器类型与滤波算法、滤波参数编码方法、滤波器控制方法。

视频编解码的主要目的是实现视频压缩效率，所以标准只规定码流结果也意味着厂商可以自主设计编码器，只要其编码的码流符合标准，但不同厂商开发的编码器压缩效率和码流播放质量等关键指标成为厂商竞争的关键。解码器可以不采用标准所规定方法，而采用等价方法来正确、有效地解析出码流。

制定标准的组织

目前制定视频编解码标准的国际组织是ITU-T SG16 WP3 Q6 (Video Coding Expert Group, VCEG)和ISO/IEO JTC 1 SC29 WG 11 (Moving Picture Expert Group, MPEG)，其中VCEG制定的标准称为H.26x(H.264/H.265/H.266)，MPEG制定的标准称为AVC、HEVC和VVC，二者是相互对应的，是因为两大国际组织参与者基本相同，同时具有联合专家组JVT、JVET等等。

标准制定流程包括：Requirement→Call for Evidence（CFE）→Call for Proposal（CFP）→Working Draft(WD)→Committee Draft(CD)→Draft international Standard(DIS)→Final DIS → International Stardard(IS)，其中，CD、DIS、FDIS均需要经过国家代表团（National Body，NB）的投票。

视频编解码标准发展原因

视频编码标准更新换代的技术驱动力是编码效率的提升：H.265/HEVC比H.264/AVC提升了一倍，H.266/VVC比H.265/HEVC提升了一倍。一种简单的理解是：观看同样质量的（例如HD）视频，新一代标准比其前一代标准节省50%的编码码率；这样等价于在相同的可用带宽下提供相同质量的（例如HD）视频，使用新一代标准可以比使用其前一代标准服务的用户数翻倍。

视频编码标准更新换代的硬件驱动力是芯片和处理器计算能力的提升，这是因为编码效率的提升本质上是使用了比前一代标准更加复杂的算法，消耗了更多的运算资源和存储资源。

视频编码标准更新换代的产业驱动力是消费者对视频体验的追求，或者说是服务提供商对视频内容升级换代的需求。从H.264/AVC、H.265/HEVC、H.266/VVC，在单路视频所使用的传输带宽基本不变的情况下，所能够提供的视频业务从SD发展到HD、UHD，从普通平面视频到三维、立体、沉浸式视频，从普通的标准动态范围视频发展到高动态范围、宽色域视频，从普通帧率的视频发展到高帧率视频。

Jevons悖论：“The efficiency with which a resource is used tends to increase (rather than decrease) the rate of consumption of that resource." → 视频编解码技术发展，使得压缩效率提高，从而使得视频应用需求迅速增加，视频数据和通信需求更大。