HEVC/H.265（1）——入门初步了解

一、引子

说到H.265，个人的初始印象就是比H.264高端了那么一些的编码标准，再就是在学校的BT上下的那个好多播放器都播放不了，只有potplayer等一小部分未来播放器能播放的权利的游戏HEVC版，说实话，不知道是压缩的不好的原因还是什么鬼，感觉画质并没有想象中的理想，尤其是当大背景色彩过渡比较缓慢的时候，感觉会有一些涂抹感。但那也差不多是1年半之前的事情了。总而言之，H.265编码的发展还是挺快的，感觉面对这么一个大家伙，想要几口吃完会被撑死，所以从今天开始一边学习，一边记录点儿东西，尽量做到详尽直白，一是希望自己能够学到点儿东西，二是希望如果有人能够看到这里会感觉到稍微有那么一点儿帮助，更希望的事有人能跟我一起交流，互相进步，指出我的疏漏和不足。愿望有点儿多，但愿不要辜负。

二、什么是H.265

维基百科（中文）：https://zh.wikipedia.org/wiki/%E9%AB%98%E6%95%88%E7%8E%87%E8%A7%86%E9%A2%91%E7%BC%96%E7%A0%81 https://zh.wikipedia.org/wiki/%E9%AB%98%E6%95%88%E7%8E%87%E8%A7%86%E9%A2%91%E7%BC%96%E7%A0%81 https://zh.wikipedia.org/wiki/%E9%AB%98%E6%95%88%E7%8E%87%E8%A7%86%E9%A2%91%E7%BC%96%E7%A0%81 https://zh.wikipedia.org/wiki/%E9%AB%98%E6%95%88%E7%8E%87%E8%A7%86%E9%A2%91%E7%BC%96%E7%A0%81 https://zh.wikipedia.org/wiki/%E9%AB%98%E6%95%88%E7%8E%87%E8%A7%86%E9%A2%91%E7%BC%96%E7%A0%81 https://zh.wikipedia.org/wiki/%E9%AB%98%E6%95%88%E7%8E%87%E8%A7%86%E9%A2%91%E7%BC%96%E7%A0%81 https://zh.wikipedia.org/wiki/%E9%AB%98%E6%95%88%E7%8E%87%E8%A7%86%E9%A2%91%E7%BC%96%E7%A0%81

维基百科（英文）：https://en.wikipedia.org/wiki/High_Efficiency_Video_Coding

百度百科：http://baike.baidu.com/link?url=yPFdeSf01e5P0LPrTl4F19IX_yBQkpC8ZW_Sr6-qVRKXB3_Z8QiCECtNSX5XzDiYvasV04OnkikwvxgZyVaApK

三、H.265与H.264的对比

“体积减半，画质不变”

这个去年这个时候上多媒体课的时候写了一篇对比，明天贴上来

也可以到这里下载pdf的看一下

________________这是贴上来的分割线__________________

H.265/HEVC关键技术的研究及与H.264/AVC的对比

摘要：随着高清显示设备的发展和高清数字视频内容的日益增多，人们对于视频观看体验的要求也越来越高。新一代视频编码技术H.265/HEVC应运而生，作为新一代视频编码技术，H.265相对于其上一代H.264/AVC编码技术显示出了巨大的优越性。本文就H.265编码标准的关键技术进行了介绍， 先分析了H.264的编码技术，重点分析了H.265编码的改进以及其所采用的新的技术，并与H.264进行了相应的对比 。

关键字：H.265、技术研究、H.264、视频编码

Research on the key techniques of H.265/HEVCand its comparison with H.264/AVC

Abstract:Withthe development of high-definition display devices and the increasing number ofdigital video content, people are increasingly high demand for video viewing experience.Thenew generation of video encoding technology H.265/HEVC came into being, as a newgeneration of video encoding technology, H.265 relative to its last generation H.264/AVCencoding technology shows great superiority.In this paper, the key technologiesof H.265 encoding standard are studied, the improvement of H.265 encoding and thenew technology are analyzed, and compared with H.264, the advantages and disadvantagesof these two technologies are summarized.

Keywords:H.265, technologyresearch, H.264, video encoding

0 引言

2010年1月，ITU-TVCEC(Video Coding Experts Group)和ISO/IEC MPECMotion PictureExpertsC roup)成立了联合组织JCT-VC (Joint CollaborativeTeamon Video Coding)，统一制定出下一代视频编码标准一H. 265。H. 265旨在“在带宽有限的环境下传输更高质量的网络视频”，只需要先前的一半带宽，即可播放质量近乎相同的视频。这也意味着人们手中常用的移动设备将可以直接通过网络在线播放全高清视频。

1 H.264简介及其采用关键技术概要

1.1 H.264简介

H.264的流程如图1所示。该标准和以前的标准一样，也是DPCM加变换编码的混合编码模式。但它采用“回归基本”的简洁设计，不用众多的选项，获得更好的压缩性能;同时它加强了对各种信道的适应能力，采用“网络友好”的结构和语法，有利于对误码和丢包的处理。H.264的应用目标范围较宽，以满足不同速率、不同解析度以及不同传输(存储)场合的需求，涵盖目前大部分的视频服务，如有线电视远程监控、交互媒体、数字电视、视频会议、视频点播和流媒体服务等。

图1 H.264的宏块编码实现原理图

1.2 H.264采用的关键技术

1)多参考帧。

H.264引入了每帧多达16个参考帧的参考技术，相对于以往的数字视频压缩协议，H .264的多参考帧技术更加灵活可变。

2)多变的帧间块类型。

H.264可以使用最大16X16、最小4X4的帧间块类型，每个宏块的亮度预测块大小可以划分为16X16,16X8,8/16,8/8四种分割块，每个分割块可以使用不同的预测矢量和参考帧图像，而在8X8分割块模式下，每个8X8又可以分割成8X8, 8X4,4X8,4X4四种子分割块，每个子分割块可以使用不同的预测矢量。因此，对于单向预测的每个宏块，同时可多达4个参考帧和16个预测矢量，可以对预测区域进行更加精确的分割，进一步提高预测进度。

3)亚像素预测。

H .264的半像素预测样点使用了一个类似于低通滤波的6阶滤波器，相对于以往的数字视频压缩亚像素插值算法，H.264能够更加提高半像素的预测效率，而1/4像素使用半像素的线性插值，即进一步提升了半像素的滤波效率，又可以降低1/4像素的处理功耗。

4)加权预测。

加权预测的使用，可以在双向预测时使用不同的加权系数对双向参考进行抽样，生成加权后

的预测值，这种处理对于一些淡入淡出、交叉淡出过渡的数字视频场景具有非常明显的预测效率提升作用。

5)帧内预测。

H.264在帧内预测的实现上相对于以往协议有明显的改进，规定了4种16X16,9种8X8,9种4X4和4种色度8X8的预测模式，允许使用左侧和上侧像素点进行预测的方法，可以明显提高在空间域上相似性很高的图像帧内压缩效率。

6)整型变换。

相对于以往的数字视频压缩协议，H.264第一次引入了整型变换的实现方式，包括4X4和8X8种自适应的变换方法。整型变换的引入，一方面可以大大降低H.264实现的功耗，另一方面由于整型变换没有以往协议中浮点运算带来的进度损失问题，可以更大程度提高残差变化后的解码鲁棒性。

7)直流系数的二级变换。

直流系数(DC系数)，又称低频系数，H.264规定帧内预测时，在一级整型变换之后使用二级直流系数的Hardmard变换，可以将各个DCT变换块的DC系数进一步压缩，这种变换在平坦区域的压缩效率提升非常明显。

8)量化。

H.264规定使用一个对数步长的量化矩阵，更有利于编码器计算和控制压缩效率，实现更加精准的码率控制算法，同时规定了量化的整型运算过程，也可以更有利于反变换的简化实现。另外，H.264允许用户使用自定义的量化系数矩阵，这种方式可以使客户再一步优化自己的编码器，使得编码量化过程可以根据量化系数的分布概率进行优化，进一步提升压缩效率。

9)去块效应滤波器。

H.264规定一个编解码环内(in-loop)的去块效应滤波器，引入针对内容检测判决的滤波算法，能够保证画面内容的同时，又能够大大降低由于块变换和量化带来的方块效应，去块效应滤波器的使用能够明显提升输出画面的视觉效果，同时也能够增加参考图像的预测效率，进一步提升压缩效率。

10)熵编码。

H.264的嫡编码主要包含两部分:一是针对语法元素的嫡编码，包括对参数信息、宏块模式信息、预测矢量信息等，使用的是哥伦布指数编码方法(Exp-Golomb)，这种方法能够对高概率出现的低数值系数使用最少的比特数，根据概率最大化的压缩参数信息；二是针对量化后残差系数的嫡编码方法，有CAVLC和CABAC两种，其中CAVLC是一种低复杂度，基于上下文自适应的嫡编码方法，其系数的比特数设计是根据经验统计的概率分布情况对H .264系数进行码表设计，应用时根据实际的系数分布状况进行上下文关联查表编码，而CABAC是一种基于内容的算术编码方法，复杂度比CAVLC更高，压缩效率也比CAVLC更高。

11)场编码。

针对特定的隔行扫描视频(又称场视频)，H .264专门定义了一种编码方法，称之为场编码，包括帧级自适应和宏块级自适应2种编码方法，可以更加灵活的判断隔行图像扫描场景，大大提升隔行扫描视频的编码效率。

1.3 H.264的缺点

H.264的草稿于2003年5月份就发布了，其后不断的更新也主要是一些特定应用场景的补充，几个主要的补充包括:2005年补充的用于更高像素点采样的Hi10 Profile,Hi422Profile,Hi444 Profile,2007年补充的应用于异构网络的H .264-SVC (Scalable Video Coding),2009年补充的应用于3D立体数字视频的H.264-MVC (MultiviewVideo Coding)。

对于宏块级数字视频压缩的处理过程，H .264没有任何的修改，包括帧间预测、帧内预测、变换量化、嫡编码和去块效应处理过程，都还一直保持着2003年草稿发布时的实现方式。也就是说H .264核心压缩原理一直没有调整更新。    但是随着数字视频应用产业链的快速发展，特别是从2005年高清数字视频的普及应用开始，原有的标清数字视频应用已经快速走向淘汰，数字视频的应用格式从720 P到1 080 P，数字视频帧率从30 fps到60 fps,短短几年就不断的突破发展。站在H .264的角度观察高清数字视频相对于原来的标清数字视频，不只是分辨率的提升，还有以下的显著特点。

1)宏块个数的爆发式增加。以前的标清数字视频，比如PAL格式的标清为720 X 57 650 H z，每秒钟的宏块个数为:MBs_PAL/s=(720 X576 X 25)/256=40500;但是一个720P 60 fps的数字视频，其每秒钟的宏块个数为MBs一720P60/s=(1280 X 720X 60)/256=216000，是PAL数字视频的5.3倍;一个1080P 60 fps的数字视频，其每秒钟的宏块个数为MBs_1080P60/s=(1920/1088/60)/256=489600，是PAL数字视频12.1倍。

2)宏块内容复杂度的降低化。以前的标清数字视频，需要在一个有限的分辨率画面中包含尽可能多的画面内容，因此平均分配到一个宏块中的画面内容就会比较复杂，而进入高清数字视频之后，摄像头的摄像角度基本上没有太多的增加，但是由于分辨率的增加，因此平均分配到每个宏块中的画面内容相对会更加简单，如图2所示，左侧为低分辨率中一个宏块包含的内容，右侧为高分辨率下同样的内容分到多个宏块中了，相对来说每个宏块的内容复杂度已经大大降低，单个宏块的编码效率是可以提高的。

图2 宏块内容复杂度平滑图示

3)运动矢量数值的大幅度增加。相对于一个PAL (720/576)的标清数字视频，如果物体在两帧时间内从画面左侧高速运动到画面右侧，其运动矢量就是720，但是对于1080P (1920X 1080)的高清数字视频，如果物体在两帧时间内从画面左侧高速运动到画面右侧，其运动矢量就是1920了。如图3所示，左侧画面为一个水平分辨率为704的数字视频画面，右侧画面为一个水平分辨率为1280的画面。同样的运动场景，在左侧画面中，MV使用32就可以描述了，但是在右侧画面中，MV需要使用58才能描述该运动矢量。

图3 运动矢量数值大幅度增加图示

2 H.265所采用的关键技术

H.265作为新一代的编码技术，在对以往的技术进行升级的同时，还采纳了许多与以往不同的特性。主要包括以下几个方面。

2.1更加高效灵活的编码结构

在H.265标准中，将宏块的大小从H.264时的16×16变得更加多元，包括了4x4,8x8,16x16,32x32,64x64等多种尺寸，这些不同大小宏块的设立可以保证针对不同的图像细节特点动态的采用不同大小的宏块，从而提高编码效率。同时，为了进一步提升编码效率，利用了更加灵活方便的编码结构，包括变换单元(Transform Unit)、预测单元(Predict Unit)和编码单元(Coding Unit)。编码结构如图4所示。

图4  H.265编码结构

其中变换单元是进行变换和量化的基本单元，预测单元是进行预测的基本单元，编码单元与H.264标准中宏块的概念相似，应用在编码的过程中。上述三个单元间的相互分离，使得变换、预测和编码间的处理环节更加灵活简便，同时也能够使各个单元更好地做好各自的任务。

2.2自适应变换技术RQT

RQT是一种自适应变换技术，是对H.264/AVC中ABT(Adaptive Block- size Transfa-m)技术的延伸和扩展该技术在帧间编码过程中河实现根据运动补偿块大小的不同，对变换块的大小自适应调整;在帧内编码过程中，可实现根据帧内预测残差特性的不同对变换块的大小自适应调整大块变换与小块变换相比较优势是能够提供更好的能量集中效果并且在量化后保留更多的图像细节劣势是量化后会产生更多的振铃效应因此，比较将要处理的变换块的特征启适应地选择变换块大小加图5所示，在能量集中、细节保留程度以及图像的振铃效应三个因素中选择折中的效果。

2.3运动矢量预测方式MVP

H .265标准增加了帧内预测方向将预测块的集合由空间域扩展到时间域和空间域两个方向依据域失真准则进行计算选择最佳的预测块使用该方法河得到平均6.1%的压缩增益厦杂图像的压缩增益甚至能提高到20%

 

图5  自适应变换技术

2.4自适应环路滤波(Adaptive Loop Filter)

ALF在编解码环路内，位于SAO和Deblock之后，用来恢复重构图像以使重构图像与原始图像之间的均方误差值(MSE)达到最小。ALF的系数是在帧级进行计算和传输的，能够在整幅帧中应用ALF，也可以对基于块的部分区域进行ALF。

2.5采样点自适应偏移(SampleAdaptive Offset)

SAO采取的方法是对重建图像进行分类在分类后的图像像素值中加减偏移量,保证了图像的差异性，减少了失真提高压缩率，减少少码流。

2.6并行化运算设计

目前，芯片架构己经从简单的单核向着多核并行方向发展，所以为了实现能够适应并行化程度较高的芯片，H.265标准采用了许多并行运算的改进方法，主要有以下几个方面：

1)Tile

如图6所示，将图像用水平和垂直的边界划分为许多行和列，Tile就是这样划分出来的一个矩形区域，在每一个Tile中含有整数个LCU (Largest CodingU-nit，这些Tile之间能够互相独立存在，从而实现并行处理。

图6 Title的划分示意图

 

2) Entropy Slice

Entropy Slice能够在一个Slice中再划分为多个EntropySlices，见图7。其中每个Entropy Slice都能够独立地进行编解码操作，进而提升了编解码器的并行处理效率。

图7 每一个Slice能够划分为多个Entropy Slices

3) WPP (Wavefront Parallel Processing)

在上一行中，当第二个LCU处理完后，就开始初始化当前行中第一个LCU的墒编码(CABAL)概率状态参数，如图8所示。所以，一旦上一行中的第二个LCU处理完毕，就能够对当前行进行编解码操作，从而进一步地提高编解码器的并行处理能力。

图8 WPP示意图

3 H.265与H.264所采用的关键技术的对比

表1 H.264和H.265关键特性对比

	H.264	H.265
MB/CU大小	4×4 16×16	4 ×4 64 ×64
亮度插值	Luma-1/2像素(1,-5,20,20,-5,1) Luma-1/4像素(1,1)	Luma-1/2像素(-1,4--11,40,40,-11,4,-1) Luma-1/4像素(-1,4,-10,57,19,-7,-3,-1) Luma-1/4像素(-1,3,-7,19,57,-10,4,-1)
MVP预测方法	空域MVP预测	空域+时域MVP预测AMVP/Merge
亮度Intra预测	4×4 8×8 16×16；9/9/4模式	34种角度预测+Planar预测 DC预测
色度Intra预测	DC,Horizontal，Vertical，Plane	DM,LM,planar,Vertival, Horizontal, DC, diagonal
变换	DCT 4×4/8×8	DCT4×4/8×8/16×16/32×/32 DST4×4
去块滤波器	4×4和8×8边界Deblock滤波	较大的CU尺寸，4×4的边界不进行滤波

相对于H.264来说，H. 265标准较大幅度地提升了算法复杂性，以此取得更好的压缩性能。H. 265标准在很多方面上做了较大程度的优化，具体改进如表1所示。

4 结束语

H.265标准的发布和成熟都还有待所采用的编码技术和当前网络技术的发展。伴随着其他应用领域的发展需求和硬件技术的发展，H.265的推出只是时间问题。国际标准组织也是跟随着产业链的发展趋势，在对未来数字视频的发展做出预测之后，组织并启动了下一代数字视频压缩算法的标准制定工作，从目前的标准工作来看，计划在2013年2月正式发布下一代数字视频压缩的标准HEVC (H.265)。H.265标准的发展和成熟应类似于H264，也将是多种编码方法和工具的混合使用，实现编码效率，编码复杂度，图像质量等方面的平衡，它的发展也必将把视频编码理论技术和应用推向一个新的时期。

参考文献

[1] 刘国梁. 从H.264向H.265的数字视频压缩技术升级.铁路通信信号工程技术(RSCE)，2011年6月，第8卷第3期：43-47

[2]安然，王浩全，张秀林，刘 玉.下一代视频编码标准H.265的核心技术研究.计算机技术与发展，2014年4月，第24卷第4期：210-213

[3]蔡晓霞，崔岩松，邓中亮，等.下一代视频编码标准关键技术［J］.电视技术，2012(2):80－84．

[4]赵金平. H.265关键技术解析和应用.科技经济市场，2014年第12期

[5]何海东，董全武，纪琳. H.265/HEVC、VP9、H.264编码算法比较及性能测试分析[J]. 广播与电视技术，2014,Vol.41(10).

[6]周敬利,金毅,余胜生,郑俊浩. 基于H.264视频编码技术的研究,华中科技大学学报，2003年8月，第31卷第8期.

 

 

 

吐槽一下自己：说是毕业的论文方向定在H265的相关研究，本科毕业做H264做到吐得我感觉自己又干回了老本行。现在想想，自己研究生上到现在真的是渣到不行，一无是处一事无成，再这样下去迟早要完蛋，这一个阶段的学习还是逼自己写点儿东西，当然大部分东西都是复制粘贴，并且可能会水的不行，但是会加上自己的一些理解或者解决问题的思路方法，希望能够督促自己进步吧。