HoloLens

1 混合现实和hololens2概览

1 HoloLens 的mR概念

微软的混合现实概念是什么呢？

数字化世界和现实世界融合了就是混合现实，包含了虚拟现实和增强现实。

如果来自数字世界多，就是虚拟现实

如果来自现实世界多，就是增强现实

HoloLens设备属于增强现实设备。


HoloLens是智能穿戴设备。

2 技术全栈图：

这个是动态的，每年都会更新，开放式的平台。
openXR架构，是跨平台的。

3 HoloLens使用场景

2代是19年12月发布的。

下面这六个场景是很适合用HoloLens的。远程协助。

4 HoloLens2

HoloLens是独立的计算机，具有pc具有的所有的硬件，可以理解为一台计算机或者手机。

1 舒适感:重量平衡分布，通配头戴，碳纤维，面镜上翻

2 沉浸感：

左边是1代的，右边是2代的。

可以实现快速的实时处理。

可以提升ui体验，预判用户的意图。

4和5的麦克风，保证用户说话很好的被采集

3 硬件规格

4学习资料

医疗行业是重要的场景。远程协助的案例，用于手术前的沟通

27°左右，主要是自然降温，光线直射下不方便用，不建议在室外使用。

HoloLens2主要是2B
异地协同，锚点图，空间锚点服务。

可以支持中文语音支持

2 MRTK

1 什么是MRTK

2 MRTK配置

3 MRTK 和openXR

openXR是新的标准。
可以更容易的支持不同的设备。
以后用openxr，不要用openGL 了。

4 Demo

1 相机模拟的功能

2 模拟手势

4 控制器

HoloLens2中手就是控制器。

Pointers

交互方式：三种，近距离，远距离，眼睛

远距pointer。

4 unity

主要就是这个脚步，这个脚本里包含了所有的东西。





figma工具包

MRTK获取的

openXR理解为驱动，就是steamvrpugin

３ unreal 对混合现实的支持

选择最适合的。

选虚幻的人重视视觉效果。

系统架构上不一样。是一个插件。

１ 未来计划

２资料以及技术问题

4 unity 2021 XR系统介绍

1 unity与XR

不同的设备，多次开发，很麻烦。一次开发可以布置到各个平台上。

2018以package的形式去做，替代了以前的sdk.

ar是移动设备
leapmotion是手势识别
vr是操作杆，更像游戏手柄。希望尽可能将不同的设备的共性抽象出来。针对厂商做的接口。

2018年前以前是通过插件的形式去做的。通用的设备就不一样了，2019的形式以包的形式更灵活。

unity支持20个平台，工业部门做车载mar。
插件的更新和unity的跟新不是同时的。。

MARS配置好，可以扫描目标环境，把目标环境导入到。。

unity refelect工具。

unity MARS工具.

2 XR插件系统

Unity openXR架构图

驱动程序，uinty的驱动程序，标准化设备的信息，抽象出高层的信息。

MRTK做了更高层次的抽象，MARS在MRTK上面。

没有xr之前是这样的

有了xr之后是这样的。



AR foundation–支持的设备更多，做功能整合，
vuroia–提供了额外的算法，工业方面很多的功能

xrtookit是unity内置的一个功能.

5 云端服务开发

国内可以使用，国内在北京和上海有节点。GA

数字孪生：把物理的位置也一比一的映射到虚拟世界中。

是对某个场景进行渲染，左右眼视频流，但是他会按左右眼的插值计算出来的。

ARR没有国内服务 延迟太高了 体验很差
Azure专门测试结点的速度，ARR最近结点在日东；

锚点计时共享，跨时段共享。

物体优于环境
跨越设备，共享设备。

采集的内容放在远端来做。


手势识别用的是hpu来算的。

6 利用Azure空间定位点创建跨设备混合现实体验

1 什么是ASA

安卓需要支持ARcore


pad做第三方视角，HoloLens做第三方同步，虚拟物体放置在空间中的某个位置，

2 开发工具

推荐用unity做asa开发，跨平台和跨设备的。

3 开发环境

前面三个是一定需要绑定的

和微软的mesh是一个产品。
通过拍照，上传到服务中，自动为你生成一个虚拟人。
加载模型，加载pdf，加载视频，添加便签。


HoloLens中也会用到一些arfoundation。

asa数据存在云端的，收费是1000次以内是免费的，1000以上几分美金。

协同操纵，arpad是用mrtk中的组件，

用的是ａｓａ进行匹配。