Unity Meta Quest 一体机开发（三）：【手势追踪】Oculus Integration/Meta XR SDK 基本原理、概念与结构+玩家角色基本配置

获取完整课程以及答疑，工程文件下载：
https://www.spatialxr.tech/

---

📕教程说明

这篇教程将会介绍 Meta XR SDK（旧版叫做 Oculus Integration）中处理手部数据的基本流程和交互的流程，并且配置一个基本的玩家物体，在虚拟场景中能够看到拥有手势追踪的手部模型。（下文中提到的 Oculus Integration 同样使用于 Meta XR SDK）

系列教程专栏：https://blog.csdn.net/qq_46044366/category_12118293.html

配套的视频链接：【2023 VR+MR全硬件开发教程】三（上）、Quest Integration基本原理概念与结构(上)-知识点讲解（主讲：YY）
【2023 VR+MR全硬件开发教程】 三 (下)： 手势追踪与玩家角色配置（主讲：YY）

环境配置可参考：https://blog.csdn.net/qq_46044366/article/details/133967343

​电脑操作系统：Windows 11

使用的 VR 设备：Meta Quest 3（Quest 系列都适用）

使用的 Unity 版本：2021.3.5 LTS (这里推荐使用 2021 及以上的 LTS 版本)

Meta XR SDK 版本：v62

官方文档：https://developer.oculus.com/documentation/unity/unity-gs-overview/
https://developer.oculus.com/documentation/unity/unity-isdk-architectural-overview/

---

📕输入数据

VR 中的双手要么就是用手柄控制，要么就是用手势追踪控制。当我们使用手柄作为输入的时候，虚拟世界中的手部会同步现实世界中手柄的位置和旋转，使用手势追踪作为输入的时候，虚拟世界中的手部会同步现实世界中手的姿态。然后 VR 中的头部由头显控制，也就是说我们的视角可以根据现实中头显的位置和旋转发生变化。因此，现实世界中头显和手柄的追踪数据会被传输给虚拟世界中的头部和手部，然后虚拟世界中的头和手就会同步现实中的位置和旋转。同样，这个概念适用于所有的 VR SDK。
那么 Meta XR SDK 中用了一系列 From OVR…Source 组件来获取追踪的数据，具体分为这 5 个组件：

From OVR Body Data Source：获取上半身身体运动姿态数据。
From OVR Controller Data Source：获取手柄姿态数据，在虚拟世界中以手柄模型来表示。
From OVR Controller Hand Data Source：获取手柄姿态数据，在虚拟世界中以手部模型来表示。
From OVR Hand Data Source：获取手势追踪的手部姿态数据。
From OVR Hmd Data Source：获取头显的姿态数据。

获取了追踪数据之后，Meta XR SDK 会用相应的接口去处理对应类型的数据，这些接口分为 IController, IHand, IHmd, and IBody，对追踪数据进行处理和包装之后，才能适配 SDK 中的一些组件。这样，这些组件就能够利用获取的数据去实现相应的交互功能。

---

📕Meta XR SDK 处理手部数据的推荐流程

首先通过 FromOVRHandDataSource 获取头显追踪到的手部数据。

然后数据会被传给 HandFilter 组件，这个组件就实现了 IHand 接口，它能够进行一些防抖的处理。

接下来 SynthethicHand 组件会对手部关节的数据进行进一步的处理，它会在特定情况下覆写，也就是 override 手部关节的数据，从而限定虚拟手部的手势。比如我在 VR 中用手按压一个按钮，当我按到底的时候，按常理来说我的手是不能再往下按了，否则就会穿过按钮，产生穿模现象。但是因为我在现实世界中可能没有在按一个真的按钮，所以现实中的手是可以继续往下按的，而 VR 中的手需要同步现实世界里手部的位置，那么这种情况下 VR 中的手就必定会穿过按钮。而 SynthethicHand 组件就能够限制虚拟手部的位置，当按钮按到底的时候，这个组件就能限制 VR 中的手无法继续向下移动。还有 VR 中的抓取也是类似的原理，当你用手抓到这个物体的时候，会呈现出一个抓取的手势，而 SynthethicHand 组件能够限定住抓取手势的姿态。

当 SynthethicHand 对手部数据进行处理之后，就会由 HandVisual 组件来渲染虚拟手部的姿态。

---

📕VR 中交互的基本概念

VR 中的交互需要有两个对象参与。一个是 Interactor，一个是 Interactable。Interactor 是发起交互的对象，Interactable 是可以被交互的对象。以抓取交互为例，抓取的流程就是用手去抓一个物体的过程，那么手就是发起抓取的对象，也就是 Interactor，物体就是可以被抓取的对象，也就是 Interactable。这个 Interactor 和 Interactable 的概念会在我们后续的教程中经常用到，这个概念在其他的 VR SDK 中也会见到。

---

📕Meta XR SDK 中的交互流程

Meta XR SDK 中有不同的 Interactor 组件，它们通常被挂载到表示手部或者手柄的物体上。当 Meta XR SDK 获取了设备的追踪数据后，它就知道虚拟世界中的手或者手柄的位置和旋转角度应该是什么样的，这个时候手部或者手柄物体上的 Interactor 就会寻找对应的 Interactable。比如抓取相关的 Interactor 会寻找周围有没有可以被抓取的对象，点触（Poke）相关的 Interactor 会寻找周围有没有可以被点击的对象，如下图所示：

当 Interactor 检测到 Interactable 对象时，会进入到 Hover 状态。不过判断是否检测到需要一些条件，以手势追踪为例，需要满足下面这几个条件：

1. 手要靠近 Interactable 对象
2. 确保当前手上没有其他的 Interactor 正在与对应的 Interactable 对象交互
3. 手要做出 Interactor 触发需要的手势。比如用手点击 UI 按钮的交互，需要伸出食指，如果伸出的是小拇指，就无法触发。

满足条件后，就会进入 Hover 状态，相当于准备开始交互的阶段。Hover 可以类比成鼠标悬停的操作。

进入 Hover 状态后，完成交互动作就能进入 Select 状态。比如还是点击 UI 按钮的交互，当我伸出食指并且靠近按钮时，会进入 Hover 状态，用食指戳到按钮的时候就会转变为 Select 状态，表示点击的交互动作完成。然后当我取消点击动作之后，也就是将手远离按钮的这一过程中，交互状态就会先由 Select 变为 Hover，再由 Hover 变为 Normal。那么我这里给出 Meta 官方提供的 Interactor-Interactable 交互状态切换图（https://developer.oculus.com/documentation/unity/unity-isdk-interactor-interactable-lifecycle/）：

Disabled 就是无法发生交互的状态。然后默认状态是 Normal，当交互功能被开启的时候，就会在 Normal，Hover，Select 这三个状态之间互相切换。

---

📕配置一个基本的玩家物体

现在，我们已经对 Meta XR SDK 中的处理手部数据的流程和交互的基本概念有了初步的认识。接下来，我们在 Unity 中配置一个能够追踪手部的玩家物体，之后在介绍各种交互功能的时候就可以在这个玩家物体上不断添加功能。

前置的环境配置可以参考这篇教程：Unity Meta Quest 一体机开发：前期准备和环境配置

首先新建一个场景，删去场景中的 Main Camera，然后添加一个 Plane 物体作为地面。

如果是用新版的 Meta XR SDK，需要导入这些包：

导入方式可以参考这篇文章：https://blog.csdn.net/qq_46044366/article/details/135315739

现在 Meta XR SDK 推出了一些便捷的开发工具，可以帮助开发者快速配置玩家物体，具体使用方法可以参考这篇教程：Unity Meta XR SDK 快捷配置开发工具【Building Block/Quick Action/OVRCameraRigInteraction】。但是如果你想要了解具体是怎么配置的，可以接着往下看。我会一步一步搭建出一个基本的玩家物体，最终能够在场景中看到玩家的手，并且追踪手部的运动。

⭐OVRCameraRig

然后在如下文件夹中找到 OVRCameraRig 预制体，或者在 Project 窗口中搜索这个物体，搜索的时候把搜索选项改为 All 或者 In Packages：

将该物体拖到场景中，找到它身上的 OVR Manager 脚本，将 Tracking Origin Type 改为 Floor Level：

选择 Floor Level，会以安全区的地面（打开 VR 设备一般都会先设置地面高度，然后划安全区）作为参考系，运行程序后头部高度会以地面作为参考点，初始高度相当于摆放在场景中的眼部相机的高度加上现实中玩家头显到安全区地面的距离。Tracking Origin Type 的区别可以参考这篇文章：https://blog.csdn.net/qq_46044366/article/details/131616046

⭐OVRInteraction

搜索 OVRInteraction 预制体，将它拖入 Hierarchy 面板，作为 OVRCameraRig 的子物体。这个 OVRInteraction 物体就是负责所有交互功能的父物体。

另外需要检查 OVRInteraction 物体上的 OVRCameraRigRef 脚本上的 Ovr Camera Rig 参数是否已赋值：

OVRInteraction 下自带一个 OVRHmd 物体，用于获取头显追踪姿态的数据。

⭐OVRHandPrefab

搜索 OVRHandPrefab 预制体，先将它拖到 OVRCameraRig > TrackingSpace > LeftHandAnchor 下：

打开 OVRHandPrefab 的 Inspector 面板，除了 OVR Hand 和 OVR Skeleton 脚本，其他的脚本先取消勾选：

然后在 OVR Skeleton 脚本里, 可以选择勾选 Enable Physics Capsules，如果勾选上了，那么程序运行后手部会自动添加上碰撞体：

然后将这个 OVRHandPrefab 复制一份，作为 RightHandAnchor 的子物体：

将右手 OVRHandPrefab 的 OVRHand 和 OVRSkeleton 脚本的 Hand Type 从 Hand Left 改为 Hand Right：

⭐OVRHands

搜索 OVRHands 预制体，将它作为 OVRInteraction 的子物体：

我们可以展开这个预制体：

点击 OVRHandDataSource 物体，它上面挂载了 FromOVRHandDataSource 脚本，用于获取手部的姿态数据：

点击 HandDataLeft，它上面挂载了一些实现 IHand 接口的脚本，用于处理获取到的手部追踪数据，其中 Hand Filter 就是刚刚介绍的用于防抖处理的脚本：

展开 HandVisualsLeft，它有个 OVRLeftHandVisual 子物体，上面有一个 Hand Visual 组件，用于渲染手部模型：

但是默认的 OVRHands 预制体下没有挂载了 SynthethicHand 脚本的物体，我们可以手动添加。

⭐OVRLeftHandSynthetic/OVRRightHandSynthetic

搜索 OVRLeftHandSynthetic 和 OVRRightHandSynthetic 预制体，将它们作为 OVRHands 的子物体：

找到 OVRLeftHandSynthetic 物体上的 SyntheticHand脚本，将 LeftHand 物体拖入 I Modify Data From Source Mono 变量，右手同理：

然后我们展开这两个预制体，它们下面各有一个 HandVisual 子物体，用于渲染手部模型。

但是 OVRHands 物体的 LeftHand 和 RightHand 下也有用于渲染手部模型的物体，这时候如果我们运行程序，会发现手部模型闪烁。这是因为场景中会渲染两双手，手部模型重合在一起就会发生闪烁。

因此，我们需要把 LeftHand 和 RightHand 下的 HandVisualsLeft 和 HandVisualsRight 物体隐藏掉，保证渲染的是 SyntheticHand。

现在运行程序，如果你能看到手势追踪的双手，就说明玩家物体配置成功了。不过 SyntheticHand 的效果要结合具体的交互组件来看，我会在后续的教程中详细说明。