2016 Google I/O新知介绍之 Daydream VR platform

作者 Steven.Zhu


1     背景

1.1  VR元年

 

2016年被称为「VR元年」,业界对虚拟现实的关注持续升温,Oculus Rift引领了整个行业的风向已成为不争的事实,索尼PSVR、HTC Vive、三星Gear VR加入战局,厮杀正酣。另就国内而言,阿里重金投资MagicLeap,腾讯布局TencentVR,百度借视频进军虚拟现实, 暴风华为乐视小米们也横插一脚借机炒作VR生态,一场围绕VR产业的资本盛宴与追逐游戏已正式开启。


p  VR代表产品

 

1.2  VR应用场景

跟互联网类似,VR并不是单一独立的技术,它可以应用到多种行业,VR技术从实验到应用最终到普通用户的消费级产品还需要全行业的跟进支持,并不是一蹴而就的。结合VR的特点,很多行业都可以玩出新花样,切切实实地提高体验、提高效率,吸引用户。“互联网+”正在席卷全行业,“VR+”也势必将会带来颠覆性的变革,例如:


p  VR应用场景

 

1.3  Google VR布局

 

作为互联网行业巨头,Google也一直在VR底层领域研究,继推出纸盒子 Cardboard和相机托架 Jump(VR视频),开发了对应的VR应用如Cardboard Camera、Tilt Brush、YouTube VR视频后,2016 I/O大会上又推出了VR平台——Daydream ,并且在Android N手机上将原生支持该平台。

 

p  Google的VR布局

目前,已经有8家智能手机厂商将在今年下半年推出支持Daydream平台的手机,其中包括:阿尔卡特、华硕、HTC、LG、小米、中兴和三星。

Google 从硬件生产、软件平台、内容制造到内容发布,都已经完成了布局,创建了完整的闭环生态。

 

1.4  VR生态之争

 

在VR产业中,Oculus(已被Facebook 收购)、HTC、Sony呈三国鼎立之势,Google也一直在VR领域研究,经过之前纸盒子 Cardboard和相机托架 Jump(VR视频),Google这次推出了Daydream 移动VR平台,在Android N上完成Mobile VR的布局,尝试制定Mobile VR的行业标准,走出实质性的一步,接着Android设备的东风,相信在Daydream手机推出后,将会带来新的VR发展浪潮。


p  VR Solution生态布局

 

1.5  VR困境

 

既然VR有这么多很好的应用场景,为何一直都没有发展起来呢?

其实,2016年被称为「VR元年」,但并不是科技史上的第一次,在此之前已经有过两次VR热潮,但都未得到消费者的响应。




VR的前景很美好,但VR的前两次「元年」都以失败告终,陷入困境,原因主要在于:

一、      技术

VR技术最核心的就是模拟现实环境、人类的动作及五官感受及实时交互,需要强大的运算设备和合适的算法及周边传感器技术的逐渐完善,模拟不完善很容易带来眩晕的效果,不适合长时间沉浸式体验。

二、      设备

之前的VR设备太笨重,而且VR对设备性能要求较高,目前比较领先的桌面型VR如Oculus、PSVR、VIVE等头戴式HMD还需要额外配备高性能电脑或游戏主机,成本很高,而且线缆太多不适合移动;移动VR Cardboard较为粗糙,Gear VR性能不够,捆绑Samsung几个机型等

三、      内容

因VR内容的生产条件要求较高,成本也高,目前VR内容太少,还很难吸引普通消费者,很多都属于平台独占

四、      标准

VR设备太多,几大派系标准各不相同,很难互通,对各大VR行业带来了很大阻碍

五、      价格

普通消费者对价格最为敏感,而价格正是VR设备无法言说的痛。就拿业界性能最强悍的Oculus Rift来说,其预售价格就达到了599美元,未来用户还需要为其购买Touch控制器。

六、      带宽

VR离不开互联网,VR对于网络传输的要求会是传统传输速率的8倍、10倍,如果要达到更高的清晰度,也许5G网络都不够用了

Google Daydream 平台为开发者解决了上述问题,是VR普及发展的一个重要里程碑。

PS.前段时间市场上涌现了大量的一体机公司,号称自己的产品多好,技术多牛。可是戴起来一看,用的还是LCD屏幕,没有算法优化,延迟和拖尾非常严重,即便是经过训练的人也无法坚持较长时间。还有一群和VR根本沾不上边的头戴显示器产品,他们没有传感器技术,不能解决模拟体验,根本不可能在里面玩出VR的沉浸效果。

 

1.6  VR Solution —— Daydream

Google 在2016 Google I/O上推出的Daydream平台制定了Mobile VR的标准,很好地解决了VR的大部分障碍,降低了VR产品开发的门槛

p  VR困境和Google VRSolution

 

技术:Google VR SDK,由Google投入研究底层,开放SDK给开发者

设备:由Google和厂商合作定制符合Daydream规范的手机和控制器

内容:开发制作门槛降低,开发者可专注内容开发, Google也拉了很多游戏商、媒体商和视频商合作

标准:对芯片和手机厂商提标准,规定了Android/iOS设备上统一的VR标准

价格:不用再重复购买昂贵的头显或主机,厂商多,移动设备多,有充足的选择余地

带宽:进入2010后,网络带宽取得了长足的进步,迎来高速发展区,特别是国内三大电信运营商在国家政策引导下,10M/200M/1000M光纤入户,更有各种融合套餐为用户带来了实惠,进入光纤时代

 

同时,Daydream的发布,获得了很多业界巨头的支持。例如:

设备支持:

首批全面支持 Daydream 的手机品牌:


今年下半年,三星,HTC,LG,小米,华为,中兴,华硕,阿尔卡特等将有Daydream手机发布。

内容支持:

首批全面支持 Daydream 的游戏厂商:


EA,网易,OtherSide,minorityVR,育碧,Resolution Games,CCP,nDreams,Turbo Button,CLIMAX

媒体支持:

首批全面支持 Daydream 的媒体服务:


纽约时报,华尔街日报,今日美国,CNN,HBO,网飞,NBA,hulu,LIONSGATE,IMAX,MLB.com,Youtube

 

2     Daydream

Google的DayDream里面包含了硬件要求、参考设计和Google VR SDK。其本质上是由Google与厂商合作定制符合Daydream要求的传感器及配置Android设备(类似Gear VR) ,同时Google开放VR SDK给开发者,由开发者生产VR内容,如APP、视频、直播等等,这一整套的东西大大降低了VR的门槛,迎合了VR行业需要一个统一的标准的诉求。

Daydream更可以看成是标准认证,涉及到底层硬件、操作系统、驱动程序、图形API、游戏引擎、游戏开发整个生态的优化:


PS:因涉及到硬件定制和底层驱动定制,Daydream目前暂不支持iOS。

 

2.1  Daydream的硬件要求

1.Daydream Phone要求: 需由Google和厂商合作定制,目前仅有Nexus 6P  Android N Developer Preview V4支持,至少有8家智能手机厂商将在今年下半年推出支持Daydream平台的手机,其中包括:阿尔卡特、华硕、HTC、LG、小米、中兴和三星。


关于Daydream Phone配置要求:

因Daydream 手机都是由厂商与Google定制开发,目前并没有公开的官方详细SPEC。

目前看到的第三方厂商透漏的Daydream手机要求有:

AndroidN

OLED材质 2K分辨率以上显示屏

至少ARM A73 CPUMali G71GPU

BT4.0之上

并且与Google合作开发

目前支持Daydream的手机仅有Nexus6P(目前最新DP5版本),可以参照其硬件配置:

http://detail.zol.com.cn/401/400843/param.shtml

 

关于VR Phone的定义,个人认为硬件上具备优秀的显示和处理能力,具备VR实时交互技术,能提供丰富的VR内容,为用户带来长时间沉浸式虚拟现实体验的手机,才能真正称为VR Phone。如目前支持三星Gear VR的一系列手机,后续Daydream Ready手机。

 

2.Controller要求

Google提供了行业设计标准,需由Google和厂商合作定制,具备体感控制的遥控器,Google在2016 I/O上给出了参考设计原型;这款手柄中集成了陀螺仪、加速计、磁力计、触摸板、按钮,以及方向传感功能,从而感知自身在3D空间中的位置。这款手柄提供了3个自由度,分别为方向角、俯仰角和倾斜角,用VR中发出的虚拟『激光』移动cursor,避免过多的『头动交互』引发的脖子疲劳。


*目前开发,可用Android4.4以上的Android手机,例如Nexus5X,用于模拟Daydream控制器

*手柄和头戴设备之间通过WiFi和低功耗蓝牙技术(BLE)去交换数据

 

3.Viewer要求

还需有个类似“Cardboard”的盒子,用于查看VR内容


*目前开发,可用之前Google发布的Cardboard

2.2  Google VR SDK

开发人员可以访问谷歌VR中心(https://developers.google.com/vr/android/),下载SDK,获取API文档和Samples.

Google VR SDK简化了常见的VR开发任务,集成了核心算法,开发者只需要调用API即可。

支持的VR常用技术:

a)    Lens distortioncorrection:镜头畸变校正

b)   Spatial audio:空间音频

c)    Head tracking:头部跟踪

d)   3D calibration:3 d校准

e)    Side-by-siderendering:并排呈现

f)     Stereo geometryconfiguration:立体几何配置

g)    User input eventhandling:用户输入事件处理

Google VR SDK 还支持Controller灵活控制,完成常见的动作场景,例如Controller原型支持的动作包括:

a)    射线Raycast:可模拟完成选中、指向、传送、攻击等动作

b)   连续动作:可模拟完成摇晃、平移/推动、方向控制、倾斜、翻转等动作

c)    短暂动作:可模拟完成快速短暂的动作,如击打、投掷等动作

d)   双手交互:可模拟完成抽取、缩放等动作

e)    Touchpad交互:大拇指单手操作,模拟拖动、移动、快速滚动、选中等动作

f)     APP button:唤出菜单

g)    点击home button回到daydream的主页

h)   长按home button 回到默认视角

i)     光标:模拟光标的滑动、选择、操作等动作

 

一些Controller支持的功能举例如下:

Raycast:VR中的镭射光来移动焦点,在VR中发出的虚拟『激光』移动cursor,避免过多的『头动交互』引发的脖子疲劳,可模拟完成选中、指向、传送、攻击等动作

 

 

连续动作:利用controller里的陀螺仪,传回来的角速度,可模拟完成摇晃、平移/推动、方向控制、倾斜、翻转等动作

 

短暂动作:用加速度传感器来判断方向,可模拟完成快速短暂的动作,如击打、投掷等动作

 

双手动作:支持模拟双手的操作,如缩放,从左手拿相册右手抽取其中一张相片

 

Touchpad:它会记录你大拇指指头和touchpad接触的接触点的位置;大拇指单手操作,模拟拖动、移动、快速滚动、选中等动作

 

APP button:可以执行唤出菜单的操作



Home:点击返回VR 模式的Home页面,长按返回默认视角

   

另外,Google还要求开发Daydream VR应用需要做到如下几个基本要求来提到体验:

1.确保在多次运行时不会崩溃

2.在手机上维持60FPS的帧率

3.应用需要一直维持在横屏模式,而不能在竖屏和横屏之间变来变去

4.应用还不能在屏幕的顶部和底部显示系统菜单,而是应当一直保证全屏

 

3     结语

 

Daydream是由Google牵头制定的Mobile VR行业标准,解决了VR在技术/设备/内容/标准/价格上的障碍,获得了众多手机厂商、游戏制作商和媒体巨头的支持,同时也降低了VR开发门槛,为VR在移动行业中的发展指明了方向,是VR普及发展的重要里程碑。

有了Daydream平台后,开发者可以将更多的精力集中在做内容上,后续会有什么样的发展趋势呢?


例如:

²  设备制造商:生产Daydream Phone?获得Google认证的Daydream – ReadyPhone、Viewer盒子、VR controller?

²  APP开发:交互方法优化,提供沉浸式体验中 游戏商有很大机会

²  VR内容制作:自己创建或与第三方合作,引入VR内容?

²  VR+各种产业,实现各种VR应用场景

²  ……

 

众多Android手机厂商将于今年下半年(三星将于8月2日发布的Note7可能会支持Daydream和Gear VR)陆续推出Daydream手机,而由于开发门槛的降低和众多游戏和媒体巨头的支持,VR内容将会越来越丰富,相信今年下半年起,众多大厂发布的旗舰机都会将Daydream Ready做为卖点宣传,也许明年起会成为旗舰机标配,相关的配件及产业也会随之发展,迎来VR产业的新一轮热潮。

 

让我们拭目以待。

 

END.

 

Tag: Google I/O , VR 介绍, ,VR SDK , Daydream

注:以上部分内容来源于网络,侵删。

部分来源:

Android N for Developers | Android Developers 

https://developer.android.com/preview/api-overview.html

VR元年虚拟现实起步令人沮丧不已_网易科技  http://tech.163.com/16/0408/03/BK3NQBSH00094OE0.html  

Google VR  |  Google Developers 

https://developers.google.com/vr/

细数阻碍VR市场蓬勃发展的五大难题_科技_腾讯网 

http://tech.qq.com/a/20160318/010736.htm

在前两次VR元年想趁着VR热捞一把的 他们都挂了|VR|虚拟现实_新浪科技_新浪网  http://tech.sina.com.cn/e/z/2016-06-21/doc-ifxtfrrc4017135.shtml

如何评价 Google IO 2016 发布的 VR Daydream 及其遥控器的交互? - 知乎 https://www.zhihu.com/question/46254124

 

 


1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 4、下载使用后,可先查看README.md或论文文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。 5、资源来自互联网采集,如有侵权,私聊博主删除。 6、可私信博主看论文后选择购买源代码。 1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 4、下载使用后,可先查看README.md或论文文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。 5、资源来自互联网采集,如有侵权,私聊博主删除。 6、可私信博主看论文后选择购买源代码。 1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 4、下载使用后,可先查看README.md或论文文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。 5、资源来自互联网采集,如有侵权,私聊博主删除。 6、可私信博主看论文后选择购买源代码。
应用背景为变电站电力巡检,基于YOLO v4算法模型对常见电力巡检目标进行检测,并充分利用Ascend310提供的DVPP等硬件支持能力来完成流媒体的传输、处理等任务,并对系统性能做出一定的优化。.zip深度学习是机器学习的一个子领域,它基于人工神经网络的研究,特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征,这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分: 1. **神经网络(Neural Networks)**:深度学习的基础是人工神经网络,它是由多个层组成的网络结构,包括输入层、隐藏层和输出层。每个层由多个神经元组成,神经元之间通过权重连接。 2. **前馈神经网络(Feedforward Neural Networks)**:这是最常见的神经网络类型,信息从输入层流向隐藏层,最终到达输出层。 3. **卷积神经网络(Convolutional Neural Networks, CNNs)**:这种网络特别适合处理具有网格结构的数据,如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络(Recurrent Neural Networks, RNNs)**:这种网络能够处理序列数据,如时间序列或自然语言,因为它们具有记忆功能,能够捕捉数据中的时间依赖性。 5. **长短期记忆网络(Long Short-Term Memory, LSTM)**:LSTM 是一种特殊的 RNN,它能够学习长期依赖关系,非常适合复杂的序列预测任务。 6. **生成对抗网络(Generative Adversarial Networks, GANs)**:由两个网络组成,一个生成器和一个判别器,它们相互竞争,生成器生成数据,判别器评估数据的真实性。 7. **深度学习框架**:如 TensorFlow、Keras、PyTorch 等,这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数(Activation Functions)**:如 ReLU、Sigmoid、Tanh 等,它们在神经网络中用于添加非线性,使得网络能够学习复杂的函数。 9. **损失函数(Loss Functions)**:用于评估模型的预测与真实值之间的差异,常见的损失函数包括均方误差(MSE)、交叉熵(Cross-Entropy)等。 10. **优化算法(Optimization Algorithms)**:如梯度下降(Gradient Descent)、随机梯度下降(SGD)、Adam 等,用于更新网络权重,以最小化损失函数。 11. **正则化(Regularization)**:技术如 Dropout、L1/L2 正则化等,用于防止模型过拟合。 12. **迁移学习(Transfer Learning)**:利用在一个任务上训练好的模型来提高另一个相关任务的性能。 深度学习在许多领域都取得了显著的成就,但它也面临着一些挑战,如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值