MPEG中面向沉浸式视觉体验的标准化活动

业界对于HEVC的压缩性能比较认可，其实现复杂度也在不断地进行优化，但专利许可问题是HEVC在业界真正遇到的挑战。在HEVC编码专利许可问题的背景下，一些公司决定在MPEG国际标准组织以公开的方式来发展一个新的EVC标准。本文整理自浙江大学的虞露教授在LiveVideoStackCon 2019上海大会中的分享，详细介绍了近期在MPEG标准工作组中面向高沉浸感视觉体验而开展的一系列标准化活动。

文 / 虞露

整理 / LiveVideoStack

大家好，我是来自浙江大学的教授虞露，本次分享的主题是MPEG中面向沉浸式视觉体验的标准化活动，内容中介绍了近期在MPEG标准工作组中面向高沉浸感视觉体验而开展的一系列标准化活动，包括具有知识产权优势的MPEG-5 Essential Video Coding技术、全景视频的表达与编码方法、增强的3自由度和6自由度的视频及点云编码技术等。

1. MPEG

1.1 MPEG标准组织

 

MPEG标准组织官网：https://mpeg.chiariglione.org在每一次MPEG会后都会有新闻公报，有关MPEG最新标准化活动的成果和进展情况都会以公报的形式在官网发布，关于MPEG未来的动向大家可以关注MPEG主席的博客http://blog.chiariglione.org。上图中下半部分就是近期博客中提到的视频编码领域四十年标准化的发展历程。本次分享的主要内容是在沉浸式媒体方面的一些新的探索，除了新的MPEG标准MPEG-I（I: Immersive）外还有目前正在进行的MPEG-5 EVC，在MPEG-I中包括增强的三自由度视频(3DoF+)、六自由度视频(6DoF)和点云等标准化活动都在同步开展中。

 

1.2 MPEG-5 EVC

1.2.1 EVC提出的背景

 

业界对于HEVC的压缩性能比较认可，其实现复杂度也在不断地进行优化，但专利许可问题是HEVC在业界真正遇到的挑战，专利许可条款与费率不清晰阻碍了标准落地。很多公司知道HEVC在性能和复杂度优化方面做得很好，但何时能够真正解决HEVC的收费问题目前还没有一个明确答案。

 

 

在HEVC编码专利许可问题的背景下，MPEG启动了VVC，它是ISO/IEC MPEG 与 ITU VCEG再度联手开展的新一代视频编码标准，这个项目在2018年4月正式启动，目标在2019年7月形成CD，2020年7月形成FDIS。但所有的技术提案方只承诺可以给业界授权，至于如何授权以及专利费用和条款的问题都是不清楚的，这与H.265存在同样的问题。在同一时期Google领导创立了AOM组织，目标是为互联网视频建立开放的、免许可费的编码格式标准，但这个目标能否达成依旧是个未知数。在这样的背景下，一些公司决定在MPEG国际标准组织以公开的方式来发展一个新的EVC标准。

1.2.2 EVC目标、手段与时间表

 

EVC的做法与之前H.265和VVC标准不同，一方面要保证技术上的先进性，但同时也要结合商业上的需求，因此在技术提案时技术提案方需要承诺授权方式，目前EVC标准的提案中提案人都会做专门的声明,承诺适时公布专利许可条款。这样做会给市场更强的信心去实现这个标准，对推广成本的预估也更加清晰。EVC在AVC已经公开20年以上的免专利费技术基础上，推出了基本工具集、对标AVC；在基本工具集的基础上，EVC还增加少量性能显著、知识产权来源明确的工具，形成增强工具集，对标HEVC。

 

1.2.3 EVC WD2.0

 

 

三月底在MPEG会议上刚刚确立了EVC WD2.0，下一个版本就会是CD。上图中呈现了非常完整的编码流程，包括块划分、帧间预测、帧内预测、变换量化、环路滤波到最后的熵编码。其实，从H.261到H.265，包括VVC都一直采用这套框架，但其中所有模块分为两种不同颜色，绿色框中的是之前所说的基本工具集的工具，蓝色虚线框是增强工具集的工具。希望绿色框中的基本工具能够做到免专利费，而蓝色框中的增强工具则是有明确知识产权收费条款限定的。</