沉浸式媒体

本文来自华为多媒体实验室首席科学家、实验室副主任王田在LiveVideoStackCon 2017上的分享。他分享了沉浸式媒体的进展与演进路线，展现了可期的多媒体新体验。

文 / 王田

整理 / LiveVideoStack

概览:

什么是Immersive Media？

我们可以称之为沉浸式或浸入式的媒体。作为一种体验，人们对这方面的需求，或者愿望可以追溯到很远。广义上来说，通过音视频的技术，产生身临其境的感觉，就叫做浸入式的媒体。比如电话使得打电话人可以跟一个远在天边的人好像当面一样的交谈；用电视看一部电影，虽然坐在家里，但是仿佛到了电影的现场，只不过这些场景浸入式的感觉不是特别强烈。

众所周知，当你戴上VR头盔之后会有非常强烈的沉浸在现场的感觉。而近几年，Immersive Media变得越来越热，很大的一个原因就是VR的兴起。接下来主要介绍我们在这方面的一些研究工作，特别是在标准组织MPEG里是如何看待Immersive  Media未来发展的，并且进行了哪些相应的工作。

Immersive Standards Organizations Overview

从标准的组织上来说，以MPEG的组织为例。并不是说国际上只有MPEG做这些， 涉及到Immersive Media的国际组织是非常多的， 如3GPP，SA4也同样涉及到这方面的相应工作。最近3GPP发布了EVS音频Codec。在EVS之后，新的Codec也是针对VR音频的。还有一些Industry Forum，如VR-IF，也是相关产业界对怎么才能在产业方向上推动浸入式媒体发展进行讨论的地方。

MPEG Standards

首先简单的介绍一下MPEG，可能大家对MPEG了解比较多，因为MPEG对整个数字媒体行业，整个产业发挥了巨大的作用。在30多年前，MPEG成立之初，整个媒体行业正在从模拟时代全面向数字化时代转移。MPEG制定的标准为整个数字媒体的蓬勃发展和近几十年的繁荣起到了很大的作用。MPEG2的Video是数字电视的一个关键标准，有了它才有了数字电视。那么像AVC（这是MPEG的叫法，可能大家更熟悉的名字叫H.264），对视频从标准分辨率到高清分辨率转变发挥了很大作用，直到现在还在被大家广泛应用。后来随着超高清的发展，出现了HEVC（H.265） 。

除了编码，MPEG还做了很多系统方面的工作，如Dash，现在也是非常的流行。Dash是一个Streaming的传输标准。通过MPEG这些年的发展历史，我们其实可以看到整个媒体的发展趋势。其中很大的一个趋势就是从模拟到数字的转型，之后一个很大的驱动就是更高的分辨率，过去的这二十年一直在这个方向不停的发展。语音通话是这样的，开始时是窄带话音，后来到宽带话音，再到超宽带。视频也是一样，从一开始普通的SD分辨率，到HD再到现在的UHD，这方面的发展趋势非常明显。另一个可以看到的趋势就是传输从以前传统的传输通道逐渐地向互联网转移，其中最重要的需求就是流畅。因此，流畅性也就成为了很重要的问题，像Dash这样的一些标准就是为了解决互联网和IP网络上流畅和高效传输问题。在过去这些年，高清和流畅一直是技术发展的趋势，那么在未来，什么是最重要的呢？

一个很重要的趋势就是沉浸式的Immersive Media，当然并不是说Immersive是未来唯一的方向，还有其它重要的方向，比如：超高清—8K，或者媒体智能化等方向。但我认为Immersive Media仍是未来的发展趋势中非常重要的一部分。