看着很酷炫,应该很有应用前景。背后用的是计算机视觉(computer vision)和深度学习的技术么?还是用的3D建模的技术?
王星杰,镜子科技实习生 工业设计 虚拟现实从业者:
我个人因为只会一些皮毛,所以只能大致的说说。
建模是需要的,各种优化措施和贴图材质都是很关键的。
但是模型及美术不是关键,关键的是输出这些画面的硬件和其内部的各类检测算法。
目前看来Magic Leap的硬件设备是一个移动主机加眼镜,移动主机的出现使得眼镜的设计更为轻松,不像Hololens那样高科技的设计。
VR和AR背后的核心都是计算机图形学,您说的建模也是属于这其中的。
Rocky,O.S.G 开源智能眼镜, Frog 前创意总监:
好吧,改题了,那就来补充一下。
AR 和 VR 是两个不同的概念。题主说的Magic Leap自己提了个HR还是MR的概念,就是混合现实。个人以为——“别以为你换个马甲我就不认识你了!” 本质上其实就是AR。
首先说一个基本概念,如果说VR硬件制造的难度等同造汽车,那么AR硬件的制作难度就等同于造宇宙飞船。为啥等我慢慢细说~
VR主要的核心点在于三个
1. 全视角的虚拟画面。这个就像你用IPHONE拍全景图一样,要生成一个实时动态的360度可见的世界,所谓的虚拟世界就是这么个基础。这个目前来说,通过既有的3D游戏引擎可以轻松实现。
2. 虚拟世界和现实世界的同步。这个东西听起来比较玄妙,其实原理不难。首先了解用户头部或者眼部的旋转动作,如果有侦测行走的,还需要侦测行走距离,然后快速、准确的反应到虚拟世界中去。比如脑袋转了半圈,那么虚拟世界中画面也要转相应的角度,这个是目前VR领域最最重要的。人们常说戴上VR头盔、眼镜时候有眩晕感,这个眩晕感就来自于不同步。但技术并不是什么高大上的技术,综合来讲,就是九轴动作感应器和相应的算法,难的是快、准。
3. 控制。这个各家有各路,有些是游戏手柄,有些是体感手柄,不细说了~
当然还有一些显示部分的,屏幕分辨率与放大镜片,但因为不需要考虑太多现实环境制约,各家没什么大区别。还有一些物理尺寸制约什么的。就不讲了。
转到AR,就是个技术巨坑了,AR的重点在于和现实世界叠加的显示。那么
STEP1:
感知和分析现实世界,要在对的位置显示对的内容,那就涉及到计算机视觉,深度传感器,gps等等,目的就是要让机器看懂你看到的绝大部分环境。这个就是微软Hololens和Magic Leap比最早google glass的高明之处。
STEP2:
基于第一步之后的近眼现实叠加,那么就有两个点,AR设备不可能像VR设备一样不再介意个头大小。那么就带来一系列的问题,在最短的距离里实现虚拟画面。
光学反射,早期的Google glass就是基于光学反射,有点混合了投影、反射式望远镜的原理,基本能实现3米外40寸左右的画面,但也只能在这个大小和距离,那就无法真正把信息叠加到对的位置。这是目前唯一有量产的技术,这个也是O.S.G 开源智能眼镜的光学显示起点。
光栅衍射,这个是Lumus的技术,通过分割画面后多次反射,实现更薄更小的显示。但制造精度要求高。至今也没有量产。
光场技术,光场技术简单通俗的来说。就是通过运算出不同景深的图像。通过对人眼焦距的分析,通过投射的方式让用户看到的虚拟画面跟真实画面在视觉上看起来是一致的。简单的来说,就是类似昆虫复眼的成像方式。目前只有nvidia的研究项目pinlights display有演示过。
还有一些其他的技术,就不细谈了
张京,UI设计师:
背后都必须有强大的技术驱动,必须包含几种关键技术:
1、环境建模
即虚拟环境的建立,目的是获取实际三维环境的三维数据,并根据应用的需要,利用获取的三维数据建立相应的虚拟环境模型。
2、立体声合成和立体显示技术
在虚拟现实系统中消除声音的方向与用户头部运动的相关性,同时在复杂的场景中实时生成立体图形。
3、触觉反馈技术
在虚拟现实系统中让用户能够直接操作虚拟物体并感觉到虚拟物体的反作用力,从而产生身临其境的感觉。
4、交互技术
虚拟现实中的人机交互远远超出了键盘和鼠标的传统模式,利用数字头盔、数字手套等复杂的传感器设备,三维交互技术与语音识别、语音输入技术成为重要的人机交互手段。
5、系统集成技术
由于虚拟现实系统中包括大量的感知信息和模型,因此系统的集成技术为重中之重:包括信息同步技术、模型标定技术、数据转换技术、识别和合成技术等等。