5G,8K时代的加速到来,将极大缓解视频传输带宽和终端解码能力的约束。 而6DoF视频则在360度VR视频基础上更进一步,可以将传统平面视频在分辨率维度的清晰度提升转化为高自由度的空间信息量提升,并且通过可交互式视频体验突破移动端显示分辨率对5G时代视频体验的约束,为5G时代视频体验提升提供了新的无限可能。本文由阿里巴巴 高级算法专家 盛骁杰在LiveVideoStackCon 2019上海 的分享内容整理而成。
文 / 盛骁杰
整理 / LiveVideoStack
本次分享的主题是关于6DoF视频的标准和实践,通往下一代的高自由度视频体验。主要内容包括四个方面:第一,介绍什么是6DoF视频;第二,介绍目前国内和国际的标准组织,例如国际的MPEG标准组和国内的AVS标准组以及这些组织在6DoF视频上的一些进展;第三,介绍优酷在6DoF技术方面的实践以及后续业务价值的探索, 最后是对本次分享的总结以及6DoF技术未来的展望。
1. 6DoF视频:从平面视频到高自由度视频
就传统平面视频技术而言,简单来说,它是从三个维度不断提升用户的视频体验。第一个维度是分辨率,也就是清晰度方面的提升,比如说从540p时代过渡到1080p的时代,再到现在的4K和8K。第二个维度是亮度和色域,因为随着分辨率的上升,对于视频本身的颜色的还原度,包括亮度的对比度也提出了更高的要求。最近比较火的HDR也就是从亮度和色域这两个维度给用户带来更好的感知。第三个维度则是帧率,所谓的帧率即是说视频每秒钟有多少帧的图像来组成视频。目前普通的帧率,像电影是24帧,电视剧一般是30帧或者25帧。在这种情况我们使用手机观看屏幕还是会出现卡顿感和物体的运动模糊,这就是帧率不够高的问题。
以上就是平面视频的发展,我们可以看到在现在这个时间点上,平面视频在这三个维度里是在不断推进的,这也就是传统视频与平面视频改善用户体验的三个主要方向。
除了平面视频以外,我们怎样过渡高自由度的视频?VR360度视频是其中第一步,所谓VR360度视频就是用户可以在观看的过程当中实时改变观看的视角,但是用户三维空间中的位置是不能动的,只是能够在空间某个点上向周围的不同视角进行观看。所以,VR 360度视频也可以被称为是3DoF视频,因为它在空间中只有3个自由度。
可以看到上图左侧,这是一个OZO的360度视频采集设备,OZO上包含8个鱼眼相机,通过这8个鱼眼相机把空间360度的视频内容采集下来以后进行图像的拼接,最终形成一个360度视频,这就是VR360视频的采集设备。下一步,我们要从360度的3DoF视频过渡到6DoF视频,如上图右侧。其实6DoF的采集设备非常的灵活,可以理解为在空间当中想要为用户提供怎样的自由度,都可以通过自由组合相应相机的拍摄和采集策略来实现。