梦想照进现实 – 从CES 看VR/AR

在CES 2017 大展上，Kino-mo公司的展台前面挤满了人。究竟是什么这么吸引人呢？原来这家公司利用全息裸眼方案 Kino-mo Holo Displays向观众展示了酷炫和惊艳的3D画面，令观众大饱眼福。这款AR产品主要由LED及旋转叶片投影机组成，当较细的叶片旋转后，会产生一种透明消失的感觉。如果将视频画面展示在高速旋转的叶片之上，就造成投影在空气中的假象，加上他们特殊处理的3D视频，效果非常逼真。

Kino-mo全息AR 视频（稍后点击阅读原文查看）

 

• VR/AR CES展台情况

  
  

除了上面的“电风扇”AR外，其他VR/AR设备也会给用户带来各种令人兴奋的体验。言归正传，我们先来看看CES 2017 VR/AR 展台的大致情况。今年三大头显（Oculus、HTC和PSVR）缺席CES，这说明CES不再是三大头显的天下了。随着生态型企业的陆续进入，进入VR/AR的门槛在降低，促成了越来越多的厂商用自己的VR/AR 相关产品亮相CES。为此，今年CES主办方单独开设了VR/AR专区，可见，VR/AR已经成为一股不可忽视的新生力量。

 

具体地，微软在未来的几个月内将和戴尔、宏碁、惠普、联想以及3Glasses合作，一起推更加低廉的类HoloLens的AR一体机。英特尔也宣布，Project Alloy将于2017年第四季度正式发货。Alloy将采用英特尔最新第7代CPU和RealSense，前部搭载鱼眼镜头以及传感器。微软和英特尔是在智能手机时代失势的两个巨头，他们都希望能够抓住移动VR/AR这个机遇再创辉煌。

 

其他VR/AR 厂商也不甘示弱，在眼镜和手机上两大平台上做深度尝试，其中谷歌的Daydream和Tango、微软的HoloLens、以及英特尔的Project Alloy逐渐成为新的焦点。可以看出，谷歌Daydream家族越来越庞大，支持Daydream平台的手机除了谷歌自家的Pixel和Pixel XL，还有Moto Z、ZDroid以及Axon 7，未来三星、LG、HTC、小米、阿尔卡特等手机厂商也将加陆续入谷歌Daydream阵营。

       

在展会上发现一个非常意思的事情，按照常人的逻辑，高通、英特尔、NVIDIA 本应是井水不犯河水，他们之间本没有太多正面的竞争，但那是PC、移动互联网时代的行业划分，现在看来已经过时了。从这次CES 来看，三者的交集越来越多，VR/AR必然成为下一个火药味十足的战场。所以阿里集团必须在这方面有所为，否则非常被动，只能沦为看客。

 

• AR的挑战

 

VR 成为潮流所趋，AR 会更加鼎盛。从表现形态来看，AR更贴合线上线下购物的诉求。不过AR要想大面积普及，也面临不少挑战，其中包括移动性、计算能力、续航能力、app生态系统和爆款设备的出现等等。

 

从本次CES上我们可以看出AR移动化趋势十分明显。但是要想随时随地传输具有沉浸感的优质的内容，需要有高速的移动网络支持。可喜的是越来越多的AR设备支持移动连接。英特尔、高通和华为都在5G网络上频频发力。英特尔推出了业界首款同时支持6GHz以下频段和毫米波频段的5G调制解调器。凭借这款调制解调器，英特尔在高通最擅长的领域先下一局，让人刮目相看。

 

由于AR涉及到复杂的图像识别跟踪和3D渲染，对CPU和GPU的计算能力和功能都提出了更高的要求。NVIDIA分别推出了Drive PX、 Drive PX 2这两个计算平台，其中Co-Pilot包括面部识别、头部追踪、视线追踪以及读唇技术。GeForce与Facebook Live平台合作，AR/VR成为除游戏、数据中心和自动驾驶之外NVIDIA的四大业务之一。

 

    至于电池续航能力，高通、Intel和NVIDIA等公司已经意识到这方面的问题，正在大力研究处理器的智能化电池管理。高通借助10纳米工艺流程，其骁龙835处理器具备更小的SoC尺寸，让OEM厂商可以进一步优化移动设备的机身内部结构，比如增加电池或是实现更轻薄的设计等等。骁龙835已经不仅仅是一款手机处理器，高通宣称这款处理器完全胜任VR/AR等更复杂的计算。

 

    其实硬件并不是阻碍未来几年制约AR普及的主要障碍，相反，有吸引力的内容的缺乏、AR应用用户体验问题以及开发成本高是我们需要解决的紧迫问题。Fyusion 建立了专为移动设备打造的 AR 内容制作平台。通过计算机视觉和机器学习技术，创造了一个基于手机端的平台，用于创建 AR 内容。CapturingReality公司开发了一整套捕捉和还原3D模型的技术，提供编辑器，供美术使用。Metaio、Vuforia、ARToolKit、HiAR和EasyAR等AR引擎让开发者能快速开发出更多更新更有趣的AR程序，对普及AR应用起了不小的推动作用。

 

爆款设备呢？

 

• AR设备是眼镜还是手机？

 

眼镜方面，Intel CEO科叔宣布Intel Project Alloy将开放给开发者，并计划与顶级 OEM 合作，还将会在2017年Q4推出 Project Alloy 的消费版产品，这样第三方厂商都可以推出基于这套方案的产品。2016年至今，许多国内外厂商相继推出了AR 眼镜，经过从分辨率、FOV和计算性能等方面的比较之后，感觉目前还是微软的Hololens 设备表现最好。但就是Hololens AR 眼镜也才刚刚过及格线，AR眼镜商业化还有很长的路要走。

 

从长时间续航能力、app生态系统、移动性和运营商补贴来看，眼镜设备都不占优势，相反手机现在都已具备了上述特征。ASUS在CES上发布Zenfone AR Tango 手机，预载的 Android 7.0 Nougat系统是支持 Daydream VR 功能的。一石二鸟，用户用一部手机就可以玩转 Google 的AR 和VR两大功能。一方面，用户只需将 Zenfone VR 放入 Google的Daydream VR 装置就可以使用 Daydream Apps；另一方面，开放 Tango 模式下的Tango Apps启动了AR功能。华为也表示会继联想和ASUS后加入 Tango 生态圈。此外，BMW 积极性非常高，宣布进一步将 Tango 技术运用到营销体验上，销售人员透过应用程序就可以让客户看到 BMWi3 系列的内装及其细节。

 

虽然AR 眼镜和AR手机相继问世，但是市场上还是缺乏像在移动互联网拉开时候iphone那样的标志性设备。我们期待着……

 

 

• AR／VR团队的切入点和抓手

 

先看外部形势，结合外部形势，以及我们业务和技术的特点来思考团队的目标和抓手，才是王道。前面我们分析了AR/VR的现状和未来发展趋势，那么阿里在这个形势下需要做哪些储备呢？毋庸置疑，图像识别、三维感知与跟踪、人机交互和三维渲染是AR／VR 四个核心部分，从这些方面入手，在实战中做好技术积累，更好地实现新零售下的内容升级，为下一代的计算平台打基础。

 

    图像识别、三维感知与跟踪：AR目前主要还是利用自然特征识别。随着大数据的迅猛发展，深度学习技术越来越被众多公司采纳。Aipoly 是从视频中获取物体信息并把获取的信息转换成语音说明的一款app。它获得了CES2017 Innovation Awards，从中可以看到组委会对图像识别技术的期望。它利用了深度学习技术来训练识别模型，与拍立淘的区别是从视频中连续识别物体，并能转换成语音表达。

 

随着深度学习研究热潮不断高涨，涌现出多种开源深度学习框架，主流的有Tensorflow、Caffe、Convnet和CNTK等，我们比较了这几种深度学习框架，淘宝移动平台更适合以Tensorflow 为基础训练，发展可运行在移动端的深度学习模型。不过，深度学习不可能是一招鲜，吃遍天，需要把自然特征识别与深度学习有机结合起来使用。

 

淘宝在各种营销和商品推广的实际项目中推动和实现了在AR级别上的即时定位与地图重建的算法产品化。集团很多BU在深度学习方面有深入地研究。如果这两方面很好地结合，可以进一步提升识别的准确性和跟踪的稳定性，在AR底层的图像识别、三维感知与跟踪技术上形成阿里的核心竞争力。

 

人机交互：在人机交互中我更倾向于使用自然交互。我比较了语音识别、手势识别、头部和眼球跟踪等几种通用的自然交互方式，发现语音的输入是我们与设备交互最简单、最有效、最舒适的方式。在这里建议阿里更深入研究地购物场景的语音识别，培养用户使用语音的心智。同时，把语音识别模块移植到智能设备和手机应用中，支持集团内外的商业使用，形成类似Amazon Alex那样的生态链。

 

自动建模：3D 商品模型数量固然重要，但是具有3D自动建模能力和内容制作的体系化才是更重要的。结合商品、场景和人物重建的不同特点，实现2D转3D和三维重建技术的突破，形成适合商业化运作的产品体系，提供商家制作3D手段，加速商品内容升级。

共建和合力：大家都看到力AR的作用和价值，集团（阿里）很多BU都有相关的实验室，百度也成立了AR Lab。淘宝GM Lab 从事VR/AR研发已经很久，并成功实现了AR 捉猫猫和 buy+ 等多种案例，这个时候与各个部门的AR 实验室共建，把我们的平台和经验分享出去，促成集团使用统一的接口和建模标准，推动集团相关技术和标准的对外输出。感兴趣的同学可以阅读揭秘阿里VR电商购物。

 点击阅读原文，查看Kino-mo全息AR 视频

本文作者

张洁（花名方如），阿里巴巴高级技术专家，曾获中国国家科技进步三等奖。《Linux就是这个范儿》一书作者。现为淘宝Buy+实验室主要成员，参与双十一AR捉猫猫等多个AR/VR 项目的研发。曾带领蚂蚁金服生物识别技术团队“柒车间”完成支付宝人脸识别实名认证等项目。曾在美国、日本、加拿大和中国的多家高科技企业担任过技术总监等职，参与研发的Jack of Spades Combo卡获北美权威的PC Magazine杂志的Editors' Choice奖、PC Computing MVP Finalist Award大奖