TxNet

本专栏是一个专门写关于Unity中如何使用OpenXR+XR Interaction Toolkit插件的。Unity之OpenXR+XR Interaction Toolkit实现 VR控制第一人称角色模型动画。Unity之OpenXR+XR Interaction Toolkit实现 自定义Input按键。Unity之OpenXR+XR Interaction Toolkit实现 手势识别。Unity之OpenXR+XR Interaction Toolkit实现 眼动追踪。

最近在工作中开发了Apple Vision Pro，所以我借此机会学习了基础知识，因此我接触到了基本的 XR 相关框架。结果，我发现可以使用类似于传统 VR 应用程序开发风格的方法来开发 Vision Pro 应用程序，即使它不是基于 Unity 的PolySpatial示例。在本文中，我们将对用于开发传统 VR 应用程序的示例进行一些更改，并介绍如何在实际的 VisionPro 设备上运行它。使用 PolySpatial 需要 Unity Pro 许可证。

Netcode for GameObjects 是专为 Unity 构建的高级网络库，可用于抽象网络逻辑。您可以通过网络会话同时向许多玩家发送 GameObjects 和世界数据。借助 Netcode for GameObjects，您可以专注于构建游戏，而无需考虑低级协议和网络框架。Netcode框架的核心特性包括：易于使用：设计上界面，适合各种技能水平的开发者。性能：为实时游戏提供优化的网络传输保证、低延迟和高帧率。客户端服务器架构：支持典型的客户端服务器模型，允许多个玩家同时连接。

在虚拟现实（VR）和增强现实（AR）应用中，眼动追踪是一项强大而受欢迎的技术。它可以让开发者更好地理解用户的注意力和行为，并创造出更加沉浸和智能的体验。在本文中，我们将探讨如何使用 Unity OpenXR 实现Gaze眼部追踪功能。

配置 MRTK 的主要方式之一是使用基础包中的配置文件。场景中的主要对象具有活动配置文件 - 一个 ScriptableObject。顶级 MRTK 配置配置文件包含主核心系统的每个核心的子配置文件数据，每个主核心系统都旨在配置其相应子系统的行为。此外，这些子配置文件也是 ScriptableObjects，因此可以包含对低它们一级的其他配置文件对象的引用。实质上，有一个包含已连接配置文件的完整树，这些配置文件构成了如何初始化 MRTK 子系统和功能的配置信息。

在VR中，通常会有一些交互需要我们做爬梯子，爬墙的操作，之前用VRTK3时，里面是还有这个Demo的，最近看XRI，发现也除了一个爬的示例，今天我们就来讲解一下 如何在Unity中使用XR Interaction Toolkit实现爬行（Climb）操作。

Unity的XR Interaction Toolkit是一个强大的框架，允许开发者快速构建沉浸式的VR和AR体验。随着虚拟现实技术的发展，手部追踪成为了提升用户交互体验的关键技术之一。本文将介绍如何在Unity中使用XR Interaction Toolkit实现手部识别功能。通过使用Unity的XR Interaction Toolkit，开发者可以相对容易地实现手部追踪和交互功能，为用户提供更加自然和沉浸的VR体验。

在虚拟现实（VR）和增强现实（AR）开发中，交互性是提升用户体验的关键。Unity作为一个领先的游戏开发引擎，提供了多种工具支持VR/AR开发。Unity的OpenXR插件扩展了这一功能，提供了更强大和灵活的交互系统。其中一个非常有用的组件是XRSocketInteractable。本文将详细介绍该组件的功能及其使用方法。XRSocketInteractable是Unity提供的一种交互组件，主要用于处理VR/AR中的交互事件。

当我们开发一个VR时，有时希望监听一个手柄按键的点击事件，或者一个按钮的Value值等。但是每次有可能监听的按钮有不一样，有可能监听的值不一样，那么每次这么折腾，有点累了，难道就没有一个万能的方法，让我可以直接监听我想要的某个按钮的事件么？答案是肯定的，今天我们就来解决这个问题。好了，现在我们分别实现了常用的三中值类型的事件监听，分别是按钮，值，向量现在不管我们希望实现什么类型的监听，先选择上诉对应的一个模板，然后接下来，只需要设置或者选择合适的inputactions配置即可。

做VR的时候，有时会有跳转场景，切换位置，切换环境，切换进度等等需求，此时相机的画面如果不切换个黑屏，总会感觉很突兀。刚好Unity的XR Interaction Toolkit插件在2.5.x版本，出了一个TunnelingVignette的效果，我们今天就来分析一下他是如何使用的，然后我们自己再来扩展一下这个效果。官方的这个黑屏控制，已经没有扩展的可能了，一是因为它的定位问题，它开始就定位为一个位移时减少我们眩晕感的一个效果来用，并不是我们今天所说的自定义渐变黑屏的工具。

普通的VR项目中，我们常见的UI都是一个3D的UI，放置在场景中的某个位置，方便我们使用射线点击。但是为了更好的体验，我们可能会有跟随头显的UI，或者可拖拽的UI，这样更方便用户去操作。所以我们今天的需求就是：如何基于XR Interaction Toolkit 插件 在VR中使用手柄射线来拖拽UI。

Windows Mixed Reality 是 Microsoft 用于增强和虚拟现实体验的VR设备，如下图所示：在国内，它的使用率很低，一把都是国外使用，所以适配起来是相当费劲。这台VR设备只能用于串流Windows，启动后，会自动连接Window的Mixed Reality程序，然后打开微软的增强现实门户，界面类似WindowPhone，如果用过Hololens的同学应该知道， 系统和Hololens一样。微软的移动端产品，目前都是wp系统，

随着备受期待的Meta Quest 3与今年10月10日发布，这款来自Meta的下一代VR游戏头戴设备承诺将彻底改变您的游戏方式。Meta Quest 3，玩家只需轻松一触即可在虚拟现实和真实世界之间无缝切换，无需摘下头戴设备进行快速现实检查。Meta Quest 3最引人注目的特点之一是其能够将您现实世界的游戏空间方面融入游戏中。利用两个内置RGB摄像头和六个摄像头传感器，头戴设备可绘制出您游戏区域的布局。这意味着您现实环境中的物体，比如咖啡桌，可以成为游戏的一部分。

ARBodyTracking，就是指通过手机AR扫描并精确的捕获人物的肢体部位的技术。如下图所示，这项技术目前是有苹果的ARKit提供，苹果的body tracking 功能需要使用配备 TrueDepth 摄像头的设备，配备 A12 仿生芯片、运行 iOS 13 或更高版本的设备，比如 iPhone X 及更新机型。这些设备可以利用其摄像头和传感器来进行面部和身体的跟踪，以支持增强现实和其他相关应用程序。有了这项技术，我们可以做很多好玩的东西，比如AR换装，虚拟穿戴等需要精确捕获人体部位的功能。

什么是Hololens?Hololens是由微软开发的一款混合现实头戴式设备，它将虚拟内容与现实世界相结合，为用户提供了沉浸式的AR体验。Hololens通过内置的传感器和摄像头，能够感知用户的环境，并在用户的视野中显示虚拟对象。这使得用户可以与虚拟内容进行互动，将数字信息融入到现实世界中。目前最新版本是Hololens2。什么是MRTK？Mixed Reality Toolkit（MRTK）是一个开源的开发工具包，专门为Hololens和其他Windows Mixed Reality设备设计。

什么是Hololens?Hololens是由微软开发的一款混合现实头戴式设备，它将虚拟内容与现实世界相结合，为用户提供了沉浸式的AR体验。Hololens通过内置的传感器和摄像头，能够感知用户的环境，并在用户的视野中显示虚拟对象。这使得用户可以与虚拟内容进行互动，将数字信息融入到现实世界中。目前最新版本是Hololens2。什么是MRTK？Mixed Reality Toolkit（MRTK）是一个开源的开发工具包，专门为Hololens和其他Windows Mixed Reality设备设计。

什么是Hololens?Hololens是由微软开发的一款混合现实头戴式设备，它将虚拟内容与现实世界相结合，为用户提供了沉浸式的AR体验。Hololens通过内置的传感器和摄像头，能够感知用户的环境，并在用户的视野中显示虚拟对象。这使得用户可以与虚拟内容进行互动，将数字信息融入到现实世界中。目前最新版本是Hololens2。什么是MRTK？Mixed Reality Toolkit（MRTK）是一个开源的开发工具包，专门为Hololens和其他Windows Mixed Reality设备设计。

什么是Hololens?Hololens是由微软开发的一款混合现实头戴式设备，它将虚拟内容与现实世界相结合，为用户提供了沉浸式的AR体验。Hololens通过内置的传感器和摄像头，能够感知用户的环境，并在用户的视野中显示虚拟对象。这使得用户可以与虚拟内容进行互动，将数字信息融入到现实世界中。目前最新版本是Hololens2。什么是MRTK？Mixed Reality Toolkit（MRTK）是一个开源的开发工具包，专门为Hololens和其他Windows Mixed Reality设备设计。

什么是Hololens?Hololens是由微软开发的一款混合现实头戴式设备，它将虚拟内容与现实世界相结合，为用户提供了沉浸式的AR体验。Hololens通过内置的传感器和摄像头，能够感知用户的环境，并在用户的视野中显示虚拟对象。这使得用户可以与虚拟内容进行互动，将数字信息融入到现实世界中。目前最新版本是Hololens2。什么是MRTK？Mixed Reality Toolkit（MRTK）是一个开源的开发工具包，专门为Hololens和其他Windows Mixed Reality设备设计。

什么是Hololens?Hololens是由微软开发的一款混合现实头戴式设备，它将虚拟内容与现实世界相结合，为用户提供了沉浸式的AR体验。Hololens通过内置的传感器和摄像头，能够感知用户的环境，并在用户的视野中显示虚拟对象。这使得用户可以与虚拟内容进行互动，将数字信息融入到现实世界中。目前最新版本是Hololens2。什么是MRTK？Mixed Reality Toolkit（MRTK）是一个开源的开发工具包，专门为Hololens和其他Windows Mixed Reality设备设计。

我们在制作VR项目的时候，大部分时候，是把UI固定到一个位置，比如桌子或者控制，这么做固然稳定，但是当我们有以下需求的时候，固定位置的UI可能会不适用：1.场景较小，操作物体占用了很大体积，没有固定的可以清晰显示完整UI的位置。2.需要频繁的前后左右，更换姿势操作现场物体时。3.新手玩家，不熟悉场景，找不到我们设定的UI位置。以上就是我们实际项目中遇到的一些问题，导致使用传统的固定位置UI，被客户诟病：找不到，不好操作，看不清。

之前我们讲过了如何通过XR Interaction Toolkit监听VR手柄的按钮 还有 如何实现自定义VR按钮。Unity之OpenXR+XR Interaction Toolkit实现 监听VR手柄按键Unity之OpenXR+XR Interaction Toolkit如何自定义VR按键但是我们总有些需求，希望可以在不修改input配置的情况下，甚至不操作Input的情况下，直接通过API监听VR手柄的按键点击，当然可以，我们今天就来实现一下。

随着Unity版本的不断进化，VR的接口逐渐统一，现在大部分的VR项目都开始使用OpenXR开发了。基于OpenXR，我们可以快速适配HTC，Pico，Oculus，等等设备。Unity之OpenXR+XR Interaction Toolkit接入HTC Vive），导出包使用HTC进行测试，结果发现头盔可以移动，但是手柄一直在地上，无法定位追踪到我的手柄。没有报错，确定手柄有电，确定定位器正常。其他项目和游戏正常使用该HTC设备和手柄。项目使用Pico设备链接，手柄可以正常使用。

我们在开发VR项目时，有时会有第一人称视角的需求，即我们自己带上VR头显，能够看到自己的身体，如果模拟一些人物触电死亡，使用工具动画之类的需求，那么VR控制第一人称视角就比较实用了。我们今天就来介绍一下如何实现VR设备控制第一人称：1.角色手部跟随手柄移动和旋转2.角色头部跟随VR头显转动和移动3.角色腿部跟随角色头显移动和下蹲。

XR Interaction Toolkit 是Unity基于OpenXR标准，发布的一套XR工具，目的是方便我们快速接入XR相关的SDK，并且做到兼容不同VR设备的目的，目前流行的VR设备如Oculus，Metal，HTC Vive，Pico等统统都支持。所以我们今天的目的就是把XR Interaction Toolkit从导入到配置，详细给大家说一下，后续的功能都会基于这篇文章的结果展开。接下来我们不使用官方提供的场景，我们自定义场景，然后添加VR相关脚本并运行起来。

目前VR领域，最流行的设备要当属HTC VIVE了。以前在Unity端接入HTC VIVE设备时，都是通过SteamVR+VRTK来接入的。但是随着Unity的版本升级和OpenXR标准的流行，再加上VR设备的逐渐增多。SteamVR+VRTK的方式已经无法更好的满足大家的需求。

Pico VR 一体机是目前国内比较流行的VR设备之一，PICO成立于2015年3月，于2021年9月并入字节跳动。最新推出的Pico4一体机售价只有2400左右，这让很多家庭都入手了Pico设备，VR一体机的功能包括：VR全景视频，VR运动，VR游戏等等。我们今天就来通过Unity最新的OpenXR标准来接入Pico VR SDK。

在VR中我们经常会和一些3D的UI进行交互，今天我们就来说一下如何实现OpenXR+XRInteraction Toolkit和UI的交互。

我们今天来说一下如何使用XR Interaction Toolkit来实现和3D物体的交互之：抓取，简单说就是通过VR手柄拿起来一个物体。

前面我们介绍了如何抓取物体，今天我们来说一下如何和3D的物体进行交互，得到接触的事件回调。交互的两种方式：1.直接抓取或者射线抓取物体，得到接触回调2.射线或者手部触摸物体后，得到接触回调。

当我们接入XR Interaction Toolkit之后，我们可以很方便的做不同VR设备的适配，这在很大程度上提升了我们的开发效率，我们除了通过射线和物体交互之外，偶尔我们也会希望监听手柄上的部分按键的点击事件，今天我们就来实现如何监听VR手柄的按钮事件。

我们知道，在VR游戏中，我们除了可以通过传送来移动之外，还可以通过手柄的遥感进行移动，那么接下来，我们就介绍一下如果通过XR Interaction Toolkit来实现遥感控制任务移动和旋转。

VR中由于走动比较容易头晕，所以基本上玩家移动都是靠传送，这样用户更加直观，传送过去也不会感觉头晕。好了，那么我们一起来说实现一下OpenXR的传送功能。

自从升级Unity版本到2021，然后使用OpenXR开发VR之后，我们整个团队的开发效率都提升了不少，这证明了不管什么领域，统一接口，统一规范都是必须的。关于XR Interaction Toolkit插件，我已经写了几篇文章了，今天才想起来，最基础的Demo讲解还没有写，其实官方的这个Demo对于初学者相对来说还是不太友好的，它把所有的功能都融到一个场景中了，功能是非常丰富，不过对初学者来说，可能头有点大了，好吧，今天我就来详细介绍一下这个Demo。

最近Unity版本全面升级到Unity2021了，着色器也全面使用URP，接下来毫无疑问，输入系统也要全面升级InputSystem，这也是Unity官方希望我们做的，毕竟现在都2023年了，我们的技术是需要跟上时代的步伐。

上一篇文章，我们介绍了如何使用新版本的InputSystem，我们知道了InputActionsAsset给我们提供了更多的灵活性，扩展性和复用性。那么这篇文章我们就来介绍一下如何创建自定义InputActionAsset我们可以定义新的复合类型，并使用 API 注册它们。Unity 将这些视为预定义类型，输入系统在内部以相同的方式定义和注册这些类型。要定义一种新的 Composite 类型，创建一个继承InputBindingComposite类，并实现接口即可。

上一篇文章我们介绍了Unity的新版本InputSyste如何使用，这一篇文章，我们主要说一下，在新版基于OpenXR的VR项目中，如何自定义VR按钮的功能。我们使用XR Interaction Toolkit插件时，它的几个Samples是非常有用的。如下所示：它们分别是:1.Starter Assets：官方示例Demo2.XR Device Simulator：编辑器下XR模拟器3.Tunneling Vignette：XR可用到的一些屏幕特效。

之前我们曾实现过PC端的模型的拆卸和组装，如果使用VR模式来实现物体的拆卸呢？如何使用双手手柄来控制物体，拆卸物体呢？今天我们就来实现一个VR小Demo，基于OpenXR ，XR Interaction Toolkit插件来实现。