新一代视频编解码标准正式公布!

作者 | 马超

责编 | 王晓曼

封图 | CSDN付费下载自东方IC

出品 | CSDN(ID:CSDNnews)

近日,新一代国际视频编解码标准(H.266/VVC)正式出炉,其中VVC是JVET(Joint Video Exploration Team)在2018年4月10日美国圣地亚会议上正式得名的(Versatile Video Coding)。

H.266/VVC目标是全面超越上一代标准H.265/HEVC,提供更高的压缩性能。从目前的情况看H.266/VVC方案的目标,已经圆满的达成了。相对于H.265/HEVC,新一代国际视频编解码标准(H.266/VVC)能够在不影响主观质量的情况下,将压缩比例提高了50%。可以说如果新的H.266/VVC标准能够顺利推广,那么将使整个高清视频行业迎来一波重大的发展机遇,尤其是与5G的发展叠加,其未来发展空间可谓巨大。

由于H.266/VVC将会成为国际通用的视频标准,代表业界未来视频编码技术的方向,因此包括高通、HHI、三星、索尼、Intel、诺基亚、爱立信等国际巨头全部参与其中。腾讯、华为、大疆等中国科技厂商也有不少贡献。腾讯有超过100项技术提案获得标准采纳,在国际视频压缩标准研究制定领域跻身世界前列。

H.266何以如此高效

H.266/VVC与H.265/HEVC有相同的编解码器模块,都包含块划分、帧内预测、帧间预测、变换与量化、熵编码、滤波。H.266/VVC在每个模块上都有相应的提高,才最终达到相同主观质量下50%左右的码率节省。下面笔者将就各模块划一下重点,向各位读者加以解读一下:

编码器框架:(H.266/VVC)基于块的分层编码结构。其参考软件编码结构如下图所示:

分块:在视频编码算法中,分块是堪称是技术底座,其任务是将图像被分成一系列的树形编码单元(CTU)。CTU可以进一步划分成编码单元(CU)。H.266采用了多类型树结构(Multi-Type Tree),即由四叉树(QT),二叉树(BT)和三叉树(TT)结构组成。这种划分结构比之前灵活很多,极大的提高了编码性能。

CTU首先由四叉树结构划分,即CTU块可以不划分或递归地划分成4个相同大小的子块。

然后,在QT的叶节点可以通过二叉树或三叉树结构进一步划分。二叉树和三叉树划分可以交错并递归进行。但是,一旦应用二叉树或三叉树划分,就不允许进行四叉树的划分了。二叉树和三叉树有水平和垂直两种划分类型。对于二叉树划分,两种划分类型都是对称的。对于三叉树划分,划分的比例为1:2:1。

由下图可以看到,二叉树划分以中心线将一个块一分为二,而三叉树划分将中心区域保留成一个完整区域,与二叉树划分形成互补,从而提高了编码效率。此外,1:2:1的划分比例使得三叉树划分后,每一个CU的边长仍然是2的整数次幂,既方便进一步划分,又使得变换(transform)设计相对简单。

帧内预测:这是一种空间域压缩算法,利用当前块周边已重建像素对当前块进行预测,以去除相邻块之间的空间冗余度,实现更为有效的压缩。

帧间预测:这是一种时间域压缩算法,利用视频图像帧间的相关性,即时间相关性,来达到图像压缩的目的。

变换与量化:大量统计表明,视频信号中包含着能量上占大部分的直流和低频成分,即图像的平坦部分,也有少量的高频成分,即图像的细节。因此,可以在频域对于视频进行编码来达到压缩的目的。此外,量化技术可以进一步降低码率,根据应用要求,在码率和失真中达到平衡。

熵编码:我们知道熵是代表着一个系统混乱程度的量,而在信息论中,系统的熵也代表了其所包含的信息量,用精确的术语表述是,系统所有符号包含信息的平均比特数。而视频编码中,要尽可能的减少冗余,使之接近熵本身,即使用更少的编码,来表达更多的信息,熵编码,就是数据压缩中根据视频的概率模型,来压缩结果熵最小化的算法。

滤波:H.266/VVC中,除上一代标准中已有的Deblocking 和SAO两种滤波器外,还增加了自适应环路滤波ALF和亮度映射色度缩放滤波LMCS,从而进一步提高了编码效率。

来自腾讯的贡献

 

在本次H.266标准的制订过程中,腾讯多媒体实验室刘杉博士担任标准文本联合主编,李翔博士任参考软件联合主席,实验室数十人次担任专家小组主席,核心实验负责人。技术方面,腾讯的主要贡献包括:

  • 首发针对屏幕内容编码技术,并担任专家小组主席与核心实验负责人,牵头相关技术研究开发;

  • 牵头贡献多项帧内预测技术,如宽角度预测,多参考行预测等;

  • 担任帧间预测核心实验负责人,贡献包括放射变换和 Merge模式提高等多项技术;

  • 牵头主导变换类技术研究,负责相关核心实验,定义VVC主变换矩阵,贡献多个变换类技术与提高;

  • 牵头主导自适应分辨率技术与可伸缩编码技术的研究开发;

  • 牵头研究推动基于神经网络/深度学习的视频编码工具,担任专家小组主席与核心实验负责人,在H.266/VVC第一版本定稿之后,继续主导相关研究开发。

在笔者看到相关资料后,重点向读者介绍一下下面三个技术。

帧内块复制模式(IBC):

与H.265/HEVCSCC extension中的IBC不同,H.266/VVC的IBC技术中,所有能够对当前编码块进行预测的当前图像的重建像素,将存放在大小为1个CTU的高速访问内存空间中,并通过当前块所在当前CTU中的位置,阶段性的刷新这个内存空间,实现最大化IBC的预测范围的目的。

如图所示,当左边CTU完成编码时,区域0,1,2,3的重建像素将存储在IBC的内存中(状态0)。当前CTU按照4->5->6->7的顺序依次编码四个区域。IBC内存中可用于对当前块进行预测的参考像素如状态1~状态4所示,在此过程中逐步将左边CTU中的像素,更新为当前CTU中的重建像素,直到当前CTU所有区域完成编码。

这样的内存更新机制,在高性能的编码和低实现成本的两个目标中达到了一个很好的平衡。

宽角度模式(WAIP):在之前的帧内角度预测中,总共有65种角度模式,从模式2一直到模式66,宽角度模式从模式2往下扩展10个角度模式,新增了模式-1到-10,从模式66开始扩展10个角度模式,分别为模式67到76,从而可以更好编码压缩长方形的CU。

当然在进行帧内预测的过程中,并不是所有的角度模式都可以使用,而是需要根据宽高比来选择合适候选预测模式的。

多参考行帧内预测技术(MRL): 在之前的帧内预测中,使用当前块的相邻左侧一列和相邻上侧一行作为参考采样来计算当前块的预测值,在MRL技术中,将可以使用的参考行扩展到多行。

也就是在使用角度模式进预测时,要将这多个参考行都尝试过,然后根据 RD COST(率失真损失)选择最小的一个参考行,参考行的索引和模式索引一样也要发送到解码端。解码端根据参考行索引来选择对应的参考行进行预测。

在5G红利全面爆发的时代,视频编码的标准制订无疑是各国竞争的一制高点,而这一次我国企业没有落后,深度参与了H.266标准制定,并牵头多方面的技术研究开发,这也为我国自主创新、自主掌握打下了良好的基础。

在本次标准制订过程中尤其令广大玩家兴奋的一点是,国际视频编解码标准联合专家组还采纳了腾讯多媒体实验室的提议,将王者荣耀视频片段纳入了标准测试序列,这也是手游第一次进入测试序列,这将提升电子竞技场景的编解码效率,也就是说以后游戏直播会更加流畅也更加没清晰了。

更多精彩推荐
☞阿里巴巴创始人马云持股降至 4.8%;传小冰将从微软分拆,沈向洋“回归”;Electron 8.4.0 发布| 极客头条
☞直播:CSDN 联合腾讯安全上线公开课,分享云原生安全技术理解和应用实践
☞B 站 Up 主自制秃头生成器,独秃头不如众秃头?
☞干货!仅有 100k 参数的高效显著性检测方法
☞看完这篇 HashMap ,和面试官扯皮就没问题了
☞密码学应用的四个进化阶段 | 博文精选
点分享点点赞点在看

沐风老师Scratch3.0快速入门视频课程

05-05
  期待已久的Scratch3.0于北京时间2019年1月3日正式上线了!Scratch3.0在线版采用最新的HTML5技术开发,Windows离线版也做成了exe文件,这比之前的Scratch2.0线上线下版都采用的是flash技术要好的很多。原因:首先,线上flash技术已经被HTML5取代多年了,而Scratch却一直还在使用flash开发的2.0版本;第二,线下版Scratch2.0用的也是flash技术,用flash开发windows桌面程序,在功能扩展上受到很大的限制,说白了,flash很多功能根本无法实现,而Scratch3.0离线版是Windows标准的exe文件,这在功能的开发上就没有任何限制了。 【课程插图】   《沐风老师Scratch3.0快速入门》视频教程,是Scratch入门学习的经典教程,完全适合零基础学习Scratch的童鞋、老师和家长。本教程不仅演示了Scratch软件的基本操作方法,实例讲解编程的过程,而且还深入讲解演示了自定义变量、自制积木、角色间通讯这样的高级功能。整个教程虽然只有短短的几节课,却基本上覆盖了Scratch的全部功能。  听说过Scratch吗?发达国家的孩子都在学。Scratch编程是为6-18岁的少年儿童学习计算机编程开发启蒙教育而设计,帮助年轻人更具创造力、逻辑力、协作力。 这些都是生活在21世纪的人不可或缺的基本能力。而且家长可以和孩子一起学,从此家长和孩子有了一个共同的爱好和话题。学习、沟通和趣味尽在Scratch!

征服C++ 11视频精讲

09-02
【为什么还需要学习C++?】 你是否接触很多语言,但从来没有了解过编程语言的本质? 你是否想成为一名资深开发人员,想开发别人做不了的高性能程序? 你是否经常想要窥探大型企业级开发工程的思路,但苦于没有基础只能望洋兴叹?   那么C++就是你个人能力提升,职业之路进阶的不二之选。 【课程特色】 1.课程共19大章节,239课时内容,涵盖数据结构、函数、类、指针、标准库全部知识体系。 2.带你从知识与思想的层面从0构建C++知识框架,分析大型项目实践思路,为你打下坚实的基础。 3.李宁老师结合4大国外顶级C++著作的精华为大家推出的《征服C++11》课程。 【学完后我将达到什么水平?】 1.对C++的各个知识能够熟练配置、开发、部署; 2.吊打一切关于C++的笔试面试题; 3.面向物联网的“嵌入式”和面向大型化的“分布式”开发,掌握职业钥匙,把握行业先机。 【面向人群】 1.希望一站式快速入门的C++初学者; 2.希望快速学习 C++、掌握编程要义、修炼内功的开发者; 3.有志于挑战更高级的开发项目,成为资深开发的工程师。 【课程设计】 本课程包含3大模块 基础篇 本篇主要讲解c++的基础概念,包含数据类型、运算符等基本语法,数组、指针、字符串等基本词法,循环、函数、类等基本句法等。 进阶篇 本篇主要讲解编程中常用的一些技能,包含类的高级技术、类的继承、编译链接和命名空间等。 提升篇: 本篇可以帮助学员更加高效的进行c++开发,其中包含类型转换、文件操作、异常处理、代码重用等内容。
©️2020 CSDN 皮肤主题: 代码科技 设计师: Amelia_0503 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值