VR直播面临的五大技术挑战和实现难点

转载 2016年08月30日 11:58:21

在WOT2016移动互联网技术峰会上,RGBVR联合创始人兼CTO任福新分享了主题为《VR直播的挑战和关键技术》的演讲,具体包括VR直播面临的很多问题,从系统落地角度,拍摄、编码压缩、网络传输和播放等各个环节进行系统的设计和优化。从用户体验角度,需要在临场感、沉浸感和互动性三个方面一起发力,才能为用户提供合格的VR直播。会后,51CTO记者采访了任老师,他就VR直播技术的发展现状、应用场景、存在的实现难点和未来3-5年的发展目标等话题进行了详细阐述。

嘉宾简介

任福新:之前做手机游戏,于2015年创立RGBVR并兼任CTO,专注于VR视频方面的产品和技术研究,期间搭建国内首个VR直播秀场-小花秀。

目前,虚拟现实技术VR和VR直播这两块发展火爆,特别是VR直播成为2016年VR行业的热点,得到大家的普遍看好。据艾媒咨询公司的数据显示,到2020年,VR直播的市场规模将达到550多亿元,成为一个新兴的蓝海市场。

为什么VR直播从内容方面可以脱颖而出,毕竟VR游戏和VR视频是VR的两个最重要的内容。这是因为VR的游戏体验成本相对比较高。而VR视频的制作成本和拍摄的逻辑方式,从业者还处于摸索期。相比较而言,VR直播的创作成本比较低。目前,大家在VR上的直播尝试,已经有很多公司在做,但是成型的体验比较好的产品还没有出来,仍处在萌芽期。

VR直播面临的五大挑战包括:1.适合VR的内容形式与表演方式。2.拍摄高质量(清晰、真实)的VR视频。3.分发和存储高分辨率和高码率的VR视频对带宽的要求较高。4.具体的呈现方式(设备质量、算法)。5.直播的交互方式。

作为VR的一大助力,哪些内容适合采用VR直播模式传播

任老师认为可以使用的行业很多,传统适合做VR的内容,同样适合现在的VR直播。而且,原来不适合手机直播,PC直播的内容,也将变得适合VR直播。在这方面,RGBVR已经做了一些尝试和探索,包括在不侵害当事人隐私前提下的医疗行业手术直播,一些发布会的直播,事件和演唱会的直播等。相对于日常的电视直播方式,放到VR场景里面的直播,观看者的视野更加开阔和清晰,对全场景尽在掌握。

《小花秀》是RGBVR推出的VR视频直播互动平台,通过广角3D等技术力求完美呈现主播的表演,为用户提供身临其境的观看体验。小花秀的第一个尝试是180度的3D直播,因为大部分人看VR的时候,长期观看习惯就是面前的角度,不会频繁地扭头来回看。之所以选用3D是因为这样的立体效果非常重要,它让你能够看出来,物体离你有多远。这个和在真实生活,用户看到的场景是一样的,会产生一个真实的沉浸感。小花秀的国外对标产品是美国的NextVR,NextVR主要的应用场景是大型体育赛事和大型活动,内容量不是很大,每次使用一个专门的采访车开到现场来做活动直播。而小花秀也是采用3D方式呈现,希望这一产品可以让更多人使用,降低用户的使用成本。小花秀的运作目标是打造一个综合的娱乐平台,跟现在的手机直播一样,最终每个喜欢它的用户都可以收看,感受VR的魅力。

VR直播技术的实现难点

任老师提的VR直播技术的实现难点很多,包括从流程、拍摄端,传输到云端分发,到播放端,头盔,端到端,还有视频的应对,几乎每一个环节都存在困难。但是,RGBVR团队已经在小花秀上线前的测试过程中基本处理完各个“坑”了。

VR直播流程和普通直播流程很像,但要达到身临其境的感觉,在头盔端需要达到4K甚至更高的分辨率,所以整个流程对各个环节的要求都提高了。

VR直播环节需要具备的条件有:

1.合格的拍摄设备。

有的还会在设备内完成图像的部分处理,所以需要高性能的处理芯片。

• 多颗广角镜头

• 传感器同步

• 色彩、白平衡等参数一致

2.高效的视频处理流程

• 拼接:将多镜头拍摄的画面进行亮度色彩调整、对齐、畸变矫正、投影到球面等一系列处理后,合成为一幅完整画面的过程。

• 基于图像特征control points控制点。

3.够宽的网络传输

• 尽量减少上行码率

• 使用云转码生成多码率视频

• 根据客户情况动态调整下行码率

4.舒适的头显设备

(1)移动头显设备

• Cardboard

• GearVR

• 一体机

(2)参数指标

• 分辨率:2K

• 计算能力:骁龙820

• 解码能力:4K硬解

• 系统&交互:Daydream

• 其他:无畸变、无色散、角度够大、延迟低

5.精心打造的直播应用

(1)营造强沉浸感

• 全空间包围

• 直播画面大于人眼FOV

• 等比例还原

• Avatar形象提升代入感

(2)营造强临场感

• 3D

(3)丰富方便的交互

• 语音聊天

• 送礼物

(4)方便的交互方式

在VR直播中,VR的交互是比较难实现的,因为一旦用户戴上了头盔,呈现的交互方式和原来将完全不一样。在PC时代,用户已经习惯了使用鼠标、键盘和手机的触摸屏进行信息输入。到了VR时代,现在还没有一个很方便的输入方式,可以让大家把这个习惯传承和延续下来。在VR世界里面,如果用户想快速地输入一些文字类内容,包括一些交互是比较困难,这个是VR直播面临的最大一个问题,现在有一些方法仍在探索一些更新的交互点。

(5)其他:高性能解码播放、适配各种手机和头显设备、低延迟、秒开、音画一致等。

最后在VR直播发展趋势这块,任老师看好三维场景、真实互动和VR穿梭。上面介绍的这些形式仅仅是VR直播最基础的形式。很多用户往往都会想自由走动,从不同角度观看。未来的VR直播肯定能够支持这点,使用三维场景真实还原现实环境,并提供更自然直接的交互方式。微软、Replay Technologies的FreeD已经在这些方面有些成果出来了。甚至像前段时间intel发布的Project Alloy宣传片中展现的那样,与环境发生真实交互。

未来3到5年,VR直播行业的发展前景

手机直播在这两年变得非常的火,无论是什么类型的公司,比如互联网公司、传统公司和旅游公司,现在直播已经成了一个标配,成为大家传递信息的一种新方式,包括图片,文字,视频,还有直播,这个是交换信息传递的一种进步方式。VR就是下一个,就是一系列的信息传递之后的下一个方式。这种方式中,VR直播将扮演非常重要的一个角色。它会深入到生活的方方面面,深入到各个行业里面去,也会慢慢成为标配,会成为大家日常生活当中获取知识并与亲朋好友交流的一种标准方式。

从国内发展行业看,所有大的手机厂商都在规划这个未来发展并推出自己的产品,无论是适配VR的头盔手机,还是自己去生产VR头盔。而且,国外的Facebook,谷歌,也在做这个事情。相信有这些大厂商的推动,VR直播的发展速度将会更快。

【责任编辑:火凤凰 TEL:(010)68476606】

VR技术直播的难点

2016年,互联网上有两样很火,一是VR、二是直播,随着“直播+”模式的普及,“VR+直播”VR直播也开始兴起。VR技术多用于游戏、电影、甚至色情产业(国外),全球顶级科技企业如谷歌、HTC、三星都有...
  • SE_JW
  • SE_JW
  • 2017年11月01日 18:27
  • 63

VR直播系统搭建——全景视频拼接概述

全景视频拼接流程 视频同步 帧级拼接 视频压缩
  • smallflyingpig
  • smallflyingpig
  • 2017年02月19日 21:01
  • 1529

区块链所面临的技术挑战

“区块链”近期热度不减,不管从金融应用领域还是从IT领域多得是畅想和期许,反而很多细节并没有搞清楚有些雾里看花。2016年伊始,《财新周刊》对中国人民银行周小川行长的专访从理性的角度给出了决策者对“区...
  • wangbaoxing
  • wangbaoxing
  • 2016年04月08日 10:22
  • 3120

VR的原理和实现

VR的原理和实现 一、     VR内容制作 VR内容场景的呈现分为两种情况:实景拍摄与3D建模场景制作。其中,3d建模场景制作又包含了“可以在VR里行走”和“不能在VR里行走”两种情况。 1....
  • jmz19910110
  • jmz19910110
  • 2016年09月05日 14:58
  • 7582

关于音视频直播技术的总结

流媒体协议 流媒体协议是服务器与客户端之间通信遵循的规定。当前网络上主要的流媒体协议如图所示。直播平台参数对比 主流互联网视音频平台直播服务的参数对比如图所示:直播技术架构图:可以看到直播的流程可...
  • King1425
  • King1425
  • 2017年05月18日 19:41
  • 1726

开发视频直播APP需要了解的技术原理和技术细节

前言:每个成功者多是站在巨人的肩膀上!在做直播开发时 碰到了很多问题,在收集了许多人博客的基础上做出来了成功的直播项目并做了整理 。 【一个完整直播app架构】 直播音视频知识点概括 1....
  • ccit0519
  • ccit0519
  • 2017年06月27日 12:02
  • 516

VR/AR工作原理、目前存在的技术问题

摘要这些挑战,每一个都还需要很多努力才能解决。目前它们很多都还不到量变(只是需要优化)的阶段,而是需要大的质的飞跃。所以,路漫漫而修远兮。但既然这是计算机发展的必然方向,拭目以待吧。   是...
  • liulong1567
  • liulong1567
  • 2016年02月18日 15:40
  • 29874

实现简易的android 直播技术

android 的直播,主要使用的是camera采集的数据推流到服务器上,在客户端播放camera采集的数据。采用SurfaceView+ SurfaceTexture来显示camera数据, Sur...
  • zsy2012919331
  • zsy2012919331
  • 2016年09月05日 22:21
  • 3484

关于Android在线直播问题的讨论与研究

最近调研android视频录制、另一部手机实时观看,大致有以下几种思路。1. android手机充当服务器,使用NanoHTTPD充当服务器,另一部手机或者pc通过输入http://手机的ip:808...
  • u010785186
  • u010785186
  • 2016年03月15日 17:38
  • 2162

关于直播,所有的技术细节都在这里了

前言: 网络视频直播存在已有很长一段时间,随着移动上下行带宽提升及资费的下调, 视频直播被赋予了更多娱乐和社交的属性,人们享受随时随地进行直播和观看, 直播的打开时间和延迟变成了影响产品功能发展...
  • wu5215080
  • wu5215080
  • 2017年02月06日 15:21
  • 1148
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:VR直播面临的五大技术挑战和实现难点
举报原因:
原因补充:

(最多只允许输入30个字)