混合现实技术文档：关键技术 (2)

---

4. 眼动追踪

4.1 可用的眼动追踪数据

在深入探讨有关视觉输入的特定用例细节之前，我们首先简要介绍 HoloLens 2 的眼动跟踪 API 提供的功能。开发者可以在大约 30 FPS（30 Hz）的帧率下获取单只眼睛的视线原点和方向数据。就实际的视觉角度而言，眼睛的视线精度大约在 1.5 度范围内。考虑到可能出现的轻微不精确性，建议开发者在设计时预留一定的余地，例如将误差范围设定在 2.0 到 3.0 度之间，这样可以为用户带来更舒适的体验。

4.2 用户意图

用户的位置和他们正在查看的内容为其他输入方式提供了重要的上下文，这些输入方式包括语音指令、手势操作以及控制器操作。这些信息可在多种任务中发挥作用。例如，用户可能只需注视一个全息影像并通过说出“选择”（也称为“注视选择”或“提交”）来进行操作，或者说出“放置…”，然后指定一个位置让全息影像出现。

此外，用户意图的例子还包括利用用户当前注视的信息来优化虚拟代理和交互式全息影像的使用体验。例如，虚拟代理可以根据用户当前观看的内容调整其提供的选项和相应行为，以提供更加个性化的交互体验。

4.3 隐式操作

隐式操作与用户意图密切相关，它让全息影像或用户界面元素能够本能地响应用户的操作，甚至在用户不直接与系统进行交互的情况下，也能保持系统与用户的同步。例如，使用基于目视的自动滚动功能，用户阅读长文本时，当视线到达文本框底部时，文本会自动开始滚动，使用户能够连续阅读而无需动用手指。

这种机制的一个关键方面是，滚动速度能够根据用户的阅读速度进行调整。另一个例子是支持目视缩放和平移，使用户能够感觉到他们所关注的内容近在咫尺。缩放速度的触发和控制可以通过语音或手势输入来实现，这对于提供用户控制感的同时避免过度操作是非常重要的。接下来将更详细地讨论这些设计考虑。

隐式操作的其他用例包括：

1. 智能通知：
   如果用户正在关注的内容区域出现了通知弹窗，可以通过将通知在视线焦点的位置稍作偏移，以优化用户体验。这样可以减少干扰，并在用户完成阅读后自动关闭通知。

2. 高亮全息影像：
   当用户注视某个全息影像时，影像会进行微妙的反应。这可能包括用户界面元素轻微亮起，或是虚拟狗慢慢盛开的花朵，开始回应用户并摇摆其尾巴。这种互动可以在应用中提供更富连接感和满足感的体验。

4.4 注意力跟踪

用户位置或视线位置的信息是一个重要的信息来源，它可以帮助评估设计的可用性并识别工作流程中的瓶颈，从而提高效率。目视跟踪的可视化和分析在各种应用领域都是常见的做法。在 HoloLens 2 中，提供了一种新维度的理解方式，因为3D全息图可以被放置在真实的上下文中并进行评估。混合现实工具包为记录和加载目视跟踪数据提供了基础示例，并展示了如何进行可视化。微软确保用户对其眼动跟踪数据的使用具有透明性和经验。

此技术的其他应用场景包括：

1. 远程目视视觉对象：远程目视可视化能够直观地显示远程协作伙伴正在查看的内容，这有助于提供即时反馈并加快信息处理的精准性。

2. 用户研究：目视跟踪帮助研究人员更深入地了解用户如何感知及与环境交互，从而设计更自然的人机交互方式。它能捕捉到参与者在调查中可能无法直接表达的信息，这类信息很容易被研究人员忽略。

3. 培训和性能监控：通过在任务执行过程中有效识别瓶颈，来优化任务执行。目视跟踪提供自然、实时且客观的信息，帮助提高工作场所的培训质量、工作效率和安全性。

4. 设计评估、营销和消费者研究：利用目视跟踪，企业可以在真实环境中进行市场营销和消费者研究，或者分析用户对产品或空间设计改进的关注点。

5. 全息帧

用户通过其头戴显示设备支持的矩形视区来观看混合现实世界。在 HoloLens 2上，这一矩形区域被称为全息框，它使用户能够看到叠加在周围现实世界上的数字内容。针对全息框的优化设计不仅带来了机遇，还降低了挑战，并增强了混合现实应用的用户体验。

5.1 大型对象可视化

通常情况下，用户所体验的内容（尤其是实际尺寸的内容）会大于全息框所能展示的范围。为了适应全息框的限制，较大的对象应在首次出现时进行缩小，以便适配全息框的尺寸。关键是让用户在调整对象到接近其实际大小之前，能够先看到对象的完整大小。例如，在将一个全息对象调整到靠近用户的实际大小之前，应先显示其足以适合全息框的缩小版本，这样用户在调整动物的总体形状和大小时能够有一个空间上的体验感。

在了解到对象的完整尺寸后，用户自然会期望能在全息框内自由移动和寻找对象的特定部分。同样地，当体验涉及沉浸式内容时，也可以通过某种方式引入内容的完整尺寸。例如，如果体验涉及围绕一个虚拟房子模型的导览，可以提供一个较小的模型版本，用户可以通过这个版本来触发全景，从而了解他们在房子内的位置。这种方法不仅提供了一种方便的导览方式，还增强了用户的空间理解。

5.2 许多对象

在设计涉及多个对象或组件的体验时，应考虑充分利用用户的整个空间，避免将内容直接堆积在用户面前的全息帧中。通常，将内容逐步引入体验中是一个好策略，这一点对于计划向用户展示多个对象的场景尤其重要。与处理大型对象相似，关键在于使用户了解体验中内容的布局，这有助于他们在添加新内容时预见整体布局和内容。

为实现这一目标，一种有效的方法是在将内容融入现实世界的体验中提供稳定的定位点（也称为特征点）。例如，路标可以是实际的物理对象，如展示数字内容的标志，也可以是常出现内容的数字显示屏。同时，可以将关键对象放置在全息帧的中心位置，以引导用户关注重要内容。而全息帧之外的内容发现则可以通过精心设计的导引方式来进行，确保用户的注意力可以在需要时从中心内容转移到周边内容。这种方法不仅优化了内容的展示，还增强了用户的探索体验。

6. 房间扫描可视化

需要空间映射数据的应用程序依赖于设备在用户浏览其环境时自动收集这些数据。这些数据的完整性和质量受多个因素影响，如用户探索的范围、从浏览开始到现在的时间长度，以及家具和门等物体是否被移动。

为了确保获取到高质量的空间映射数据，应用程序开发者可以采取以下策略：

1. 依赖于设备可能已经收集的数据，尽管这些数据最初可能是不完整的。
2. 鼓励用户使用手势进入 Windows Mixed Reality 主页，并浏览他们希望用于体验的区域，使用分流来确认设备是否已经覆盖所有必要的区域。
3. 在自己的应用程序中创建自定义的浏览体验。

值得注意的是，所有这些策略中收集的空间数据都由系统存储，无需应用程序自行处理。

6.1 构建自定义扫描体验

应用程序可以在体验开始时对空间映射数据进行分析，以决定是否需要用户采取额外步骤来提高数据的完整性和质量。如果分析结果显示数据质量需要提高，开发者应提供一种可视化对象，该对象能在用户的现实世界中叠加显示，以指示：

1. 哪些区域需要成为体验的一部分。
2. 用户应从何处开始改善数据质量。
3. 如何进行“良好”扫描，包括评估平整度、与实际墙壁的距离等，需要向用户显示或告知具体的评估标准。

此外，开发者应实现一个反馈循环，允许在扫描或浏览阶段更新空间映射数据。在很多情况下，最好具体指导用户需要执行的操作，如查看家具或天花板，以获取必要的扫描质量。这种方法不仅优化了数据收集过程，还提高了用户体验的质量和可靠性。

6.2 缓存与连续空间映射

空间映射数据是应用程序可以利用的最繁重的数据类型之一，因此在使用时需要格外小心，以避免性能问题，如丢帧或卡顿现象。

缓存空间映射：应用程序会在体验开始时捕捉空间映射数据的快照，并在整个体验期间使用这份数据快照。

优势：

1. 降低运行时系统的负担，改善性能、散热和CPU效能。
2. 空间数据的稳定性简化了体验的实现。
3. 空间数据的后处理（如物理计算、图形渲染等）只需进行一次。

弊端：

1. 如果环境中的实体对象或人员移动，缓存数据将无法反映这些变化，如将实际关闭的门误判为开启。
2. 维护数据的缓存版本可能需要更多的应用程序内存。
3. 此方法适合受控环境或桌面级游戏等应用。

连续空间映射：一些应用程序可能需要持续扫描来更新空间映射数据。

优势：

1. 无需在应用程序中单独构建预先的扫描或浏览体验。
2. 虽有一定延迟，但能够实时反映现实世界对象的移动。

弊端：

1. 实现主体体验的复杂性增加。
2. 需要增量处理图形或物理数据的变更，可能导致额外的性能开销。
3. 对CPU、功率和热量的影响较大。

一个应用连续空间映射的典型场景是全息影像需要与移动对象互动的情况，例如，如果全息汽车需要根据门是开启还是关闭从门下通过，这时就需要精确的实时空间数据。