5G时代探索互动立体视频信息承载的新可能

5G时代对于视频行业的发展和业务形态将是一个重要的助推，但5G时代带来的改变不只是带宽提升和延迟降低这两个最直接的因素。本次LiveVideoStackCon 2020线上峰会我们邀请到了阿里巴巴高级算法专家盛骁杰，他将介绍在5G时代，视频信息承载将逐步从目前的平面视频形态过渡到信息表达更为丰富的三维视频，而这种过渡中包含的可能性一方面需要我们充分利用5G技术本身的云、边、端架构带来的技术红利，另一方面，也需要我们对于快速发展的三维视觉，AI，AR等技术进行综合性的创新运用，使得视频体验通过可互动的三维信息表达在5G时代不断给用户创造出更多的价值。

文 / 盛骁杰

整理 / LiveVideoStack

大家好，本次我分享的主题是5G时代的互动视频——探索从平面到三维视频信息表达的新可能。

本次演讲的内容将分为四个部分，分别为：什么是互动6DoF视频、视频体验的发展和5G时代的新机遇、6DoF视频的标准（MPEG/AVS）和对互动6DoF视频的未来展望。

1

什么是互动6DoF视频

首先通过三个演示视频来认识互动6DoF视频。第一个视频是CBA的运动场景，它是通过相机阵列和三维重建所得到的一个互动6DoF视频，并且通过实际的网络传输以及用户终端的实时互动所展现出来的一个效果。

第二个视频也是相同的场景，但对原先的互动方式进行了一些调整和改变，在这样的视频中，用户触摸屏幕会使整体场景静止，用户可以有一个静态场景下360°的对场景每一个瞬间进行精细化观看的互动体验，这样的体验特别适合于体育等竞技性和专业性较强的场景。

首先，通过对这个视频的体验，可以感受到之前普通的平面体育点播和直播视频当中所没有的新体验。

其次，在一个三维的空间中对传统体育赛事的观看方式进行革新，使得用户能够自由地切换自己的视点，观看其感兴趣的区域。通过这种方式，用户会感觉到视频的观看过程通过可互动的方式，已经和某些游戏的体验有相似性。从来没有体验过这种视频的用户，在第一次体验之后会感觉这种体验很像游戏。之所以有这种感受，是因为它其中包含了3D和互动的体验，而普通的游戏给予用户的正是这样一种体验。这也是互动6DoF视频和平面视频最大的区别， 即互动6DoF视频有着和平面视频不同的三大特点：互动性、三维立体感和场景沉浸感。

互动6DoF视频除了应用在体育的场景当中，在综艺场景中也有着广泛的应用前景。以上展示的是一个综艺场景的效果，视频中的整个综艺场景，通过三维的建模并且通过传输和实时互动，使用户产生很强的现场沉浸感和立体感体验效果。此外，在综艺场景中它可以给予用户一种全方位的信息接受方式。比如这个视频演示是优酷《这就是街舞2》决赛当中的一段视频，我们的交互范围是可以覆盖整体场景正面的180°，基本上可以囊括正面的所有舞蹈视角，通过这种方式的交互，用户可以很方便的把握住舞台的整体，体验到每个舞者在跳舞过程中全方位的信息。今年在优酷的《这就是街舞3》节目中，我们会在优酷的APP端正式上线这样的体验。

这种体验在街舞当中或者其他技巧类、动作类的综艺当中都有很好的应用前景，在整个互动效果当中，它的交互是非常流畅的，用户手指的滑动、画面的重建和渲染都可以达到实时的效果。而且现在手机终端的运算能力越来越强，已经可以使这样的形态让用户在大部分的手机上体验到。

以上的三个例子是通过具体的呈现方式使大家对互动6DoF视频有一个感性的认识。下面我们再来详细介绍下什么是互动6DoF视频。

普通的平面视频从视频的采集、处理、编码、传输、观看的整个过程中都是单向的传输链路，所以平面视频是一种被动式的观看，这是因为用户最终接收到的信息是完全被动式的接收导演想传递给用户的信息，用户不能主动选择想看的部分，这是一种被动式的观影体验。并且，平面视频每一级都是单向链路，就是采集完的信号会给下一级进行视频处理，经过编码模块后进行视频传输到用户端播放，每一级都是一个向后单向传递的处理链路。

互动6DoF视频在平面视频的基础上引入了一种交互式的观看方式，正如前面三个视频的例子就具有很强的交互性。它的交互性来源不只是在终端得到的交互，在视频的采集、内容表达和编码三个方面都和传统的平面视频有很大的区别，在这几个模块中都需要对用户最终的交互形态有一个综合性的考虑和设计。也就是说我们需要事先考虑给用户怎么样的交互形态和交互范围，然后倒推回去设计视频的采集方案、视频的内容表达方案和编码方案。所以它是一种非单向式的视频处理链路，在6DoF视频采集的时候我们就要在方案当中充分考虑到用户的交互行为。

这是我们的技术人员第一次通过这种6DoF交互式的观看获得一种手段，即他能够通过技术去影响和改变上游视频的传统采集和表达方式。而在普通的平面视频的观看当中，技术人员无法影响上游的表达，只是被动的接收上游导播给到的信号，并把它呈现出来。但是互动6Do