VR开发基础（一）一文理清unity xr plugin架构与openxr标准

一，VR开发中的几个概念：从openVR到openXR

1. OpenVR

OpenVR是Valve公司开发的一套包含一系列SDK和API的工具集，旨在从驱动层级为硬件厂商提供软硬件开发支持。硬件设备制造商可以为设备开发OpenVR 驱动程序，以使设备能够运行在SteamVR平台上。

虽然OpenVR是HTC Vive默认使用的驱动程序，但它的开发目的是为了得到更多厂商的支持，例如，开发者也可以为Oculus Rift或Windows MR 设备开发基于OpenVR的软件应用。

需要注意的是，OpenVR虽然也提供了一套开发标准，但是相较于OpenXR，其覆盖范围相对较小，另外，Valve 从SteamVR客户端1.16开始，已经对OpenXR标准进行了全面的支持。

作为Unity开发者来说，并不需要太多关心OpenVR及其SDK，因为这更多的是面向VR硬件平台和游戏引擎开发商来进行使用的。

2. OpenVR Desktop

Unity需要各VR硬件平台提供与对应底层驱动程序通信的工具包来完成VR应用程序的渲染等工作，OpenVR Desktop则是OpenVR提供给Unity使用的一系列组件，用于访问OpenVR的SDK。该工具包可以通过Package Mananger进行安装，但仅存在于Unity2019.4 LTS 及其以前版本，在Unity 2020中被废弃，转而使用 OpenVR XR Plugin 代替，如下图所示：

要使用OpenVR Desktop，在将工具包安装完毕以后，需要在Build Settings中开启VR支持并选择OpenVR SDK。在Build Settings中开启VR支持的方式，仅适用于Unity 2019及其以前的版本，而在Unity 2020及其以后的版本中，此方法也将被废弃，转而使用XR Plug-in Management进行管理。

3. OpenVR XR Plugin

OpenVR XR Plugin 与 OpenVR Desktop 的作用和地位相同，推出的目的是为了配合Unity 2020在XR Plug-in Management中管理VR平台提供的工具包。

OpenVR XR Plugin 目前需要手动从本地磁盘进行安装，开发者可访问网址：https://github.com/ValveSoftware/unity-xr-plugin/releases，下载该工具包的.tgz格式文件，然后在Package Manager中选择"Add package from tarball..."命令进行安装。

另外，如果开发者使用SteamVR Plugin 2.7.x 进行VR应用程序开发，则在插件中已经包含了OpenVR XR Plugin工具包，可使用以上方式进行安装而不用从网络重复下载，如下图所示：

安装完毕后，可以在XR Plug-in Manager中启用并进行相关设置，如下图所示：

4. SteamVR

SteamVR是Valve基于OpenVR推出的一套VR体验解决方案，以软件客户端形式存在，面向终端用户，故也常被称为SteamVR客户端。

当运行或测试SteamVR平台支持的应用程序时，SteamVR客户端会自动开启，为应用程序提供运行时环境。

除此之外，SteamVR客户端还提供VR控制器的配对、驱动更新、性能分析等功能。初次连接VR设备以后，需要通过SteamVR客户端进行设备校准，即所谓的房型设置。在客户端界面底部，列出了当前已经连接到系统中的设备，包括头显、手柄控制器、基站、其它可跟踪设备如Vive Trakcer等。

SteamVR可以通过Steam客户端进行安装，还可通过设备供应商提供的安装程序进行安装。以HTC VIVE为例，购买后可访问网址：https://www.vive.com/cn/setup/，选择下载VIVE安装程序，该程序将引导用户进行设备连接，完成相应驱动程序和SteamVR的安装，对于初学者来说相对友好。两种渠道安装的SteamVR客户端均能保证VR应用程序的运行，选择其中一种即可，两者亦可同时存在。

对于终端用户，当前支持SteamVR的硬件包括但不仅限于以下设备：

• Valve Index
• HTC VIVE/Cosmos
• Windows Mixed Reality
• HP Reverb G2

SteamVR客户端作为桥梁，介于OpenVR底层驱动与用户之间工作——SteamVR获取到用户的输入，如控制器按键的按下、头显在空间中移动等，将这些数据信息传递给OpenVR进行处理，OpenVR将处理后的数据通过SteamVR呈现给用户。

5. SteamVR Plugin

SteamVR Plugin 是Valve公司提供给Unity开发者的开发工具，以.unitypackage文件的形式存在，在使用方面符合一般的Unity插件导入流程，开发者可使用该插件开发面向SteamVR平台的VR应用程序。SteamVR Plugin可由Unity Asset Store和Github下载安装，所不同的是，Asset Store中总是提供最新且稳定的SteamVR插件版本，而在Github中，可以下载该插件的所有过往版本及预览版。

SteamVR Plugin 能够与SteamVR客户端进行交互，主要帮助开发者实现三项主要功能：为VR控制器加载呈现相对应的3D模型、处理控制器的输入、根据用户实际手部动作估算骨骼数据并通过这些数据在虚拟世界中呈现相对应的手部姿态。除此之外，SteamVR Plugin还提供了一套便捷的交互系统（Interaction System），帮助开发者快速开发出常见的VR交互功能，该交互系统脱胎于Valve开发的《The Lab》VR体验应用。

6. OpenXR

随着行业的发展，越来越多的VR/AR设备被推向市场。这对于开发者来说，面临的重要议题之一便是针对不同的VR/AR硬件平台进行应用程序的适配，这将带来一部分额外且不必要的工作量；对于硬件平台厂商来说，新上市的产品面临着内容严重不足、生态急需健全的问题。

OpenXR是一套由Khronos Group发起，联合多家行业头部公司一起制定的开放标准，旨在解决XR平台碎片化的问题，同时简化AR/VR软件的开发。对于开发者来说，基于此标准进行XR应用程序的开发，能够使应用程序覆盖更广泛的硬件平台，同时无需移植或重新编写代码；而对于支持OpenXR的硬件平台厂商来说，能够在产品发布时即可拥有可运行在其上的大量内容。

下图左侧为引入OpenXR标准之前的行业现状——VR/AR应用程序和引擎必须使用每个平台独有的SDK和API，新的设备同样需要特定的驱动程序。而在引入OpenXR标准以后，将统一由OpenXR提供的跨平台高性能的应用程序接口与众多XR硬件平台进行交互，如下图右侧所示。

OpenXR 1.0 标准于2019年公布，各大XR平台开始逐步加入到支持OpenXR标准的行列，包括Oculus Quest/Rift、Windows Mixed Reality、Unity、Unreal Engine、SteamVR等目前主流的VR平台和游戏引擎。这就意味着，开发者将专注于应用程序的开发而不是各平台的交互适配问题。

7. OpenXR Plugin

OpenXR Plugin是Unity开发的符合OpenXR标准的工具包，旨在让Unity开发者尽可能高效地将内容部署到更加广泛的XR目标平台上。开发者在Unity 2020中通过Package Manager搜索"openxr"即可找到该工具包并进行安装。

由于处于版本发布的早期，所以目前通过广泛测试的硬件平台有限，Unity声称目前无法测试或保证所有支持OpenXR的配置都能以最佳状态运行，该工具包也在不断完善中，后续会逐步增加支持的平台。以下是截至当前经过全方位测试并被官方支持的平台。

硬件平台	构建目标	图形接口	渲染模式
Windows Mixed Reality	Windows	DX11	Single Pass Instanced
HoloLens 2	UWP	DX11	Single Pass Instanced

由于OpenXR 只支持基于动作的输入（action-based input），所以OpenXR Plugin可以直接使用Unity的Input System处理输入和交互。如果开发者的项目正在使用特定平台的工具包（如MRTK等），Unity不建议启用OpenXR，因为许多厂商仍在为OpenXR添加支持；其中Oculus已宣称全面转向支持openXR，提供了基于openXR的开发SDK；

8. 最后

本文介绍了在VR开发中常见的几个容易混淆的概念，为了便于区别比较，我们将这些概念从维护方、面向对象、存在形式这三个维度对比汇总如下：

二，unity XR 插件框架

首先回到unity本身的开发，unity是一个3D引擎（平台），为了对XR的支持并保持扩展，增加了XR插件框架；

Unity 2019.3 和更高版本使用新的统一插件框架，该框架支持多个平台的直接集成。该技术堆栈中的一个 API 可以公开 Unity 支持的所有平台的通用功能，并使 XR 硬件和软件提供商能够开发自己的 Unity 插件。

该框架可以理解为：从unity开发的角度定义了XR的基本模块和向下接口及扩展，各家实现可以基于框架给定的plugin规范制作具体plugin的方式，进行模块实现，比如Oculus XR plugin。

三，Unity 将 OpenXR添加到新的XR架构中

如上所述，unity的XR架构通过接入各家plugin实现XR具体模块和特性，特别的包括openxr plugin，openxr的特别之处在于：标准由khronos维护但自身并非直接的实现厂商，并且自身也是一个抽象架构，在标准接口之下又需要具体厂商的实现。

unity为支持openxr开发了openxr plugin，作为XR架构的一个插件，可以理解为unity为khronos家实现的，只不过openxr本身又需要更下一层的设备运行时实现。

 四，openxr角度的XR开发架构

再从openxr的角度理解一下开发整体图景。

从下图可以看出，可以自上而下抽象出 开发者环境、XR插件、openxr接口、openxr运行时实现、设备 五个层面的调用递进关系；

如果开发者使用的是U3D等环境，则不需要直接与openxr直接交互，只需理解XR plugin及其inputsystem等XR模块的缘由，即openxr的plugin实现；

事实上在设备层面上，openxr也做好了定义，需要硬件的具体实现，一般不需要软件开发关注。

五，openXR API overview核心接口和流程理解

如果开发者使用的是native开发环境，或者想要深入理解openxr的机制，则需要熟悉openxr的本身接口及其状态、流程机制，openxr标准目前在1.0的基础上持续更新，具体查阅官网获取最新信息。

其基本的流程l类比OpenGL的基本流程，可以理解为：通过拉起XR的运行时环境，在XR环境会话loop中，进行graphic渲染和XR IO交互，如图：

https://www.khronos.org/files/openxr-10-reference-guide.pdf