华为：解读下一代视频压缩标准HEVC(H.265)

  概述

　　H.264(AVC)从2003年5月草稿发布以来，凭借其相对于以往的视频压缩标准在压缩效率以及网络适应性方面的明显优势，逐步成为视频应用领域的主流标准。根据 MeFeedia的数据，由于iPad 以及其它新兴设备大多支持H.264 硬件加速，至2011年底，80%的视频使用H.264编码，并且随着支持H.264解码的设备不断增多，这一占有率还将进一步增长。

　　但是，随着数字视频应用产业链的快速发展，视频应用向以下几个方向发展的趋势愈加明显：

• 高清晰度（Higher Definition）：数字视频的应用格式从720 P向1080 P全面升级，在一些视频应用领域甚至出现了4K x 2K、8K x 4K的数字视频格式；
• 高帧率(Higher frame rate )：数字视频帧率从30 fps向60fps、120fps甚至240fps的应用场景升级；
• 高压缩率(Higher Compression rate )：传输带宽和存储空间一直是视频应用中最为关键的资源，因此，在有限的空间和管道中获得最佳的视频体验一直是用户的不懈追求。

　　由于数字视频应用在发展中面临上述趋势，如果继续采用H.264编码就出现的如下一些局限性：

1. 宏块个数的爆发式增长，会导致用于编码宏块的预测模式、运动矢量、参考帧索引和量化级等宏块级参数信息所占用的码字过多，用于编码残差部分的码字明显减少。
2. 由于分辨率的大大增加，单个宏块所表示的图像内容的信息大大减少，这将导致相邻的4 x 4或8 x 8块变换后的低频系数相似程度也大大提高，导致出现大量的冗余。
3. 由于分辨率的大大增加，表示同一个运动的运动矢量的幅值将大大增加，H.264中采用一个运动矢量预测值，对运动矢量差编码使用的是哥伦布指数编码，该编码方式的特点是数值越小使用的比特数越少。因此，随着运动矢量幅值的大幅增加，H.264中用来对运动矢量进行预测以及编码的方法压缩率将逐渐降低。
4. H.264的一些关键算法例如采用CAVLC和CABAC两种基于上下文的熵编码方法、deblock滤波等都要求串行编码，并行度比较低。针对GPU/DSP/FPGA/ASIC等并行化程度非常高的CPU，H.264的这种串行化处理越来越成为制约运算性能的瓶颈。

　　为了面对以上发展趋势，2010年1月，ITU-T VCEG(Video Coding Experts Group) 和ISO/IEC MPEG(Moving Picture Experts Group)联合成立JCT-VC(Joint Collaborative Team on Video Coding)了联合组织，统一制定下一代编码标准：HEVC(High Efficiency Video Coding)。

　　HEVC协议标准计划于2013年2月份正式在业界发布，目前整个框架结构已基本确定。截至2012年4月份，JCT-VC联合工作组已经召开了第八次会议，并于2012年2月17日发布了第一版内部草稿《High efficiency video coding (HEVC) text specification draft 6》，计划2012年7月发布第一版公开版草稿，在H.264标准2～4倍的复杂度基础上，将压缩效率提升一倍以上。

　　下表列出了HM4.0(HEVC参考代码)相对于JM18.0 BD-Rate对比：

表1  HEVC相对于H.264的压缩效率提升数据列表

　　由表中数据可见，在Low Delay的情况下，HEVC(HM4.0)相对于H.264比特率平均下降44%。

　　HEVC(H.265)的技术亮点

　　作为新一代视频编码标准，HEVC(H.265)仍然属于预测加变换的混合编码框架。然而，相对于H.264，H.265 在很多方面有了革命性的变化。HEVC(H.265)的技术亮点有：

　　灵活的编码结构

　　在H.265中，将宏块的大小从H.264的16x16扩展到了64x64，以便于高分辨率视频的压缩。同时，采用了更加灵活的编码结构来提高编码效率，包括编码单元(Coding Unit)、预测单元(Predict Unit)和变换单元(Transform Unit)。如图1所示：

图1 编码单元(CU)、预测单元(PU)、变换单元(CU)

　　其中编码单元类似于H.264/AVC中的宏块的概念，用于编码的过程，预测单元是进行预测的基本单元，变换单元是进行变换和量化的基本单元。这三个单元的分离，使得变换、预测和编码各个处理环节更加灵活，也有利于各环节的划分更加符合视频图像的纹理特征，有利于各个单元更优化的完成各自的功能。

　　灵活的块结构----RQT(Residual Quad-tree Transform)

　　RQT是一种自适应的变换技术，这种思想是对H.264/AVC中ABT(Adaptive Block-size Transform)技术的延伸和扩展。对于帧间编码来说，它允许变换块的大小根据运动补偿块的大小进行自适应的调整；对于帧内编码来说，它允许变换块的大小根据帧内预测残差的特性进行自适应的调整。大块的变换相对于小块的变换，一方面能够提供更好的能量集中效果，并能在量化后保存更多的图像细节，但是另一方面在量化后却会带来更多的振铃效应。因此，根据当前块信号的特性，自适应的选择变换块大小，如图2所示，可以得到能量集中、细节保留程度以及图像的振铃效应三者最优的折中。

图2 灵活的块结构示意图

　　采样点自适应偏移(Sample Adaptive Offset)

　　SAO在编解码环路内，位于Deblock之后，通过对重建图像的分类，对每一类图像像素值加减一个偏移，达到减少失真的目的，从而提高压缩率，减少码流。

　　采用SAO后，平均可以减少2%~6%的码流,而编码器和解码器的性能消耗仅仅增加了约2%。

　　自适应环路滤波(Adaptive Loop Filter)

　　ALF在编解码环路内，位于Deblock和SAO之后，用于恢复重建图像以达到重建图像与原始图像之间的均方差(MSE)最小。ALF的系数是在帧级计算和传输的，可以整帧应用ALF，也可以对于基于块或基于量化树(quadtree)的部分区域进行ALF，如果是基于部分区域的ALF，还必须传递指示区域信息的附加信息。

并行化设计

　　当前芯片架构已经从单核性能逐渐往多核并行方向发展，因此为了适应并行化程度非常高的芯片实现，HEVC/H265引入了很多并行运算的优化思路， 主要包括以下几个方面：

　　(1)     Tile

　　如图3所示，用垂直和水平的边界将图像划分为一些行和列，划分出的矩形区域为一个Tile，每一个Tile包含整数个LCU(Largest Coding Unit)， Tile之间可以互相独立，以此实现并行处理：

图3 Tile划分示意图

　　(2)     Entropy slice

　　Entropy Slice允许在一个slice内部再切分成多个Entropy Slices，每个Entropy Slice可以独立的编码和解码，从而提高了编解码器的并行处理能力： 

图4 每一个slice可以划分为多个Entropy Slice

　　(3)     WPP(Wavefront Parallel Processing)

　　上一行的第二个LCU处理完毕，即对当前行的第一个LCU的熵编码(CABAC)概率状态参数进行初始化，如图5所示。因此，只需要上一行的第二个LCU编解码完毕，即可以开始当前行的编解码，以此提高编解码器的并行处理能力：

图5 WPP示意图

　　H.264中已有特性的改进

　　相对于H.264，H.265标准的算法复杂性有了大幅提升，以此获得较好的压缩性能。H.265在很多特性上都做了较大的改进，如表2所示：

表2  H.264和H.265关键特性对比

　　HEVC(H.265)技术应用前景展望

　　H.265标准是在H.264标准的基础上发展起来的，结合H.264在视频应用领域的主流地位可以预见H.265协议在未来广大的发展前景。

　　世界的一些主流电视组织以及媒体运营商已经选择H.264作为媒体格式标准，一些主要的编解码设备厂商也一直积极参与到H.265标准的研究当中。华为是ITU-T视讯标准的主要Reporter（报告人）和Editor（编辑者）。作为国际电信联盟（ITU-T）成员单位，华为牵头并参与制订了多项国家标准和行业、企业标准。在H.265协议制定期间，华为提交了多项相关提案、建议，并提供了非常典型的应用场景测试序列，得到ITU-T的高度认可和接纳。华为提供的ChinaSpeed序列已经被标准组织采纳作为Class F的标准测试序列。

　　随着芯片处理能力越来越强，算法复杂性对应用的影响因素越来越小。相反，在算法实时通讯应用以及IPTV应用中，业务的不断扩展和需求的增加使得有限的带宽资源逐渐成为瓶颈，高压缩率的编码是解决这一难题的有效技术手段，这也为H.265在基于IP进行流媒体服务领域的应用奠定了坚实的基础。目前很多电信运营商使用H.264标准作为其媒体格式，也有很多厂商推出了基于H.264标准的机顶盒以及基于H.264标准的视频会议解决方案。

　　华为作为全球领先的电信解决方案供应商，是国内目前最大的视频会议研发机构，从1993年华为正式推出ViewPoint系列视频会议产品以来，已经发布了五代视频会议产品，在视频通信领域目前获得600多项专利受理，其中国际专利100多项。华为能够提供全系列的视频会议产品，包括智真视频会议系统、高清视频会议系统、标清视频会议系统以及基于IPTV的解决方案。根据Frost& Sullivan咨询报告，2011年华为视频会议解决方案市场占有率全球排名前三，智真的市场占有率全球排名第二。华为作为研究HEVC的第一梯队企业，密切关注H.265标准的发展，并将率先推出H.265相关的视讯产品。

　　结束语

　　HEVC(H.265)标准预计2013年2月发布正式版本，由于其在压缩效率、并行处理能力以及网络适应性方面的极大改进，它的发展和应用必将把视频编解码理论和应用推向一个新的高度。