《Interaction-Free Calibration for Optical See-Through Head-Mounted Displays...》论文阅读

标题：Interaction-Free Calibration for Optical See-Through Head-Mounted
Displays based on 3D Eye Localization
作者：Yuta Itoh, Gudrun Klinker
来源：2014 IEEE Symposium on 3D User Interfaces (3DUI)

摘要

AR应用中的一个常见问题是光学透明头戴式显示器（OST-HMD）在用户头上移动，甚至是临时取下，因此需要频繁（重新）校准。如果这种校准涉及到用户交互，那么它们会耗费时间，并分散用户对其应用程序的注意力。此外，它们还将用户相关错误投射到系统设置中，并降低用户对OST-HMD的接受度。

为了克服这些问题，我们提出了一种方法，该方法结合预先计算的静态显示标定参数，利用眼睛跟踪器的动态三维眼位置测量。我们的实验提供了我们的标定与SPAAM（单点有源对准方法）的比较，用于几种头部显示条件：在第一种情况下，在保持用户头部上的显示位置固定的同时进行重复标定。在第二种情况下，用户关闭HMD并在下次标定前重新打开。结果表明，我们的新的眼动跟踪标定比重复SPAAM标定更稳定。最后，我们讨论了为获得更高的标定质量而应消除的潜在误差源。

1 介绍

在使用光学透视头戴式显示器（OST-HMD）的AR应用中的关键问题是从用户的当前视点显示3D信息 - 更具体地，根据用户的眼睛位置，相对于用户头部不太稳定的HMD姿势。

头戴式显示器（尤其是光学透视显示器）是AR系统的关键组件。它们是早期设置的一部分，但随后，它们已经被基于视频的AR解决方案所取代（使用不透明HMD，智能手机或平板电脑）。这有很多原因，特别是有限的视野，对比度问题，以及对用户相关的显示器校准的要求。

存在几种显示标定算法。但是，它们使用起来很麻烦并且会破坏用户的AR体验。在实践中，经常跳过标定过程（例如，当向访客快速显示AR演示时），或者次优地执行校准过程以增强用户便利性。

在长期使用期间（即，在应用持续超过几分钟的情况下），该问题变得更加严重。原则上，只要HMD的位置在用户的头部上发生变化，就必须（重新）进行标定。这种变化可能经常发生。原因可能是用户突然的动作，以及当用户暂时移除眼镜时的情况，例如揉眼睛，在空间复杂的地形中移动或在不戴眼镜的情况下执行某些任务。通常，后续（重新）标定会被跳过，因为它太麻烦了。

图1：我们的技术设置：世界摄像机W和眼睛跟踪摄像机T连接到OST-HMD。

---

最近，凝视跟踪相机已在商业上可行。它们足够小，可以与OST-HMD结合使用。结合最近的商业活动，为一个相当大的市场生产AR眼镜，以及构建包括越来越多内置传感器的移动“智能”设备的新兴趋势，我们预计未来的HMD将包括这样的相机。由于这样的相机具有用户眼睛（一个）的直接视图，因此它产生可用于简化和改进显示标定过程的附加信息。然而，问题出现了，是否可以精确且稳健地确定眼睛位置以便可用于稳定的HMD校准。毕竟，眼睛位置的微小估计误差可能对用户感知的真实和虚拟对象之间的偏移产生巨大影响。

本文报道了一种将基于摄像头的眼动追踪与HMD校准相结合的方法（见图1）。眼睛跟踪相机（T）刚性地附接到HMD的底部边缘，朝向用户的一只眼睛。第二相机（W）确定周围世界环境中的HMD姿势。两个摄像机和HMD的刚性设置在离线标定过程中预先确定。将这种静态HMD标定与动态眼动追踪相结合，即使HMD在用户头部移动，我们也能够在HMD中产生与世界相关的增强。我们首先得到令人鼓舞的结果，即设置产生的配准质量与现有技术水平相当 - 通过采用更严格的离线标定程序可以进一步改进。

在第2节中，我们介绍并讨论了当前标定视觉设置（包括眼睛跟踪器）的技术现状。在第3节中，我们介绍了我们方法的概念基础。第4节描述了该方法的技术实现。第5节给出了第一个结果，在实际设置中评估设置，并将其与不使用眼睛跟踪器的现有显示校准方法进行比较。本节还讨论了当前的状况、不足之处和未来的步骤。到目前为止所吸取的主要教训在结论部分6中作了总结。

2 相关工作

我们的工作结合了几个即将合并的不同领域的研究。

2.1 显示标定

OST-HMD标定的目标是通过估计OST-HMD和用户眼睛之间的投影来识别由OST-HMD屏幕和用户眼睛组成的虚拟相机系统。由于眼睛是系统的一部分，因此投影包含眼睛相对于屏幕的几何信息。为了获得这样的预测，许多现有的方法需要用户交互。在J.Zhou的论文¹²中给出了非常好的，详细的讨论。我们在这里简要概述了最相关的方法。

首先，OST-HMD标定算法要求用户将自己提交给非常复杂的、预先安排的物理过程和设置。例如，他们被要求使用瞄准方法[3]将自己的视图与给定的基于世界的参考框架物理对齐，或者将他们的头部放在头枕上。

更方便的是，Tuceryan等人。允许（或甚至要求）用户在他们的单点主动对准方法（SPAAM）[34]中在物理环境中自由移动他们的头部。在他们的方法中，用户必须重复地将给定的感兴趣的物理点（在已知的世界位置）与在其HMD屏幕上的随机位置处绘制的十字线对齐。每个这样的2D-3D对应描述了投影方程，其中头部运动通过基于世界的头部跟踪来补偿。原则上，6个对应就足以完全确定投影矩阵的11个参数。为了增强对用户错误(不精确对齐)的鲁棒性，Tuceryan等人建议使用至少12个通信。这已成为AR应用中广泛使用的显示器标定方法。Genc等人用于立体的OST-HMD的扩展SPAAM。为了同时标定左眼和右眼屏幕，用户需要依靠他们的立体感知将虚拟3D点与真实3D点对齐。

然而，尽管SPAAM比早期方法更方便，但它严重受到所需的大量用户交互的影响。它们不仅增加了用户的身体负担，还降低了最终的标定质量。Axholt等人分析了SPAAM方法的估计方差，并报告了根据3D点在空间中的分布方式(主要是深度)对参数估计方差的显著影响。此外，作者发现，当用户被对齐任务占据时，他们往往会忘记改变姿势，从而在有限的深度范围内收集点。论文的结论是，在使用SPAAM时需要仔细指导用户。另一个误差源源于用户确认何时实现了良好对准的过程。最初，用户必须点击一个按钮。Maier等人的最近的研究表明，如果只要求用户在很短的时间内保持静止-从而发出信号表明他们已经完成了，则可以实现更稳健的对准[19]。

一些研究工作已经用于减少标定过程中的用户交互。Easy SPAAM重复使用之前SPAAM标定中的旧投影矩阵，并根据用户眼睛的新位置对其进行调整。在该方法中，通过包括缩放的屏幕图像的2D变形来近似眼睛位置的变化 - 需要比完整眼睛姿势估计更少的参数。因此，用户需要仅建立（至少）2个2D-3D对应以用于在线标定。在Easy SPAAM之后，Owen等人[26]提出DRC（显示相对标定）。投影可以分解为显示参数和眼睛位置。前者仅依赖于OST-HMD并且可以离线确定，而后者需要在线确定。在DRC中，作者将其形式化为两步标定过程。他们描述了使用机械夹具对显示参数进行离线标定 ，并针对第二个在线步骤提出了5种不同的选项，涉及不同程度的简化假设（从不执行任何在线标定，而不是执行简单的变形，如Easy SPAAM到完整6-DoF眼睛姿势估计）。H.Hua等人开发了一种类似于Easy SPAAM的方法，用于基于投影的HMPD，同时使用这种两步标定概念。它们的不同之处在于它们在在线步骤中重新标定完整的显示参数。

2.2 头戴式眼动追踪

正如在引言中所讨论的，人们已经在可穿戴式头戴式眼睛跟踪系统上进行了一些努力。开发这些系统主要是为了收集和分析用户的观察方向，以便进行凝视分析。其中，Tsukada等提出了使用弱透视投影制定基于3D模型的眼动追踪的第一人称视觉系统。Nitschke等已经建立了一个眼动追踪系统，可以从眼睛的反射图像重建用户的视图。他们还使用3D眼睛模型并使用透视投影来从图像估计眼睛姿势。

2.3 HMD和眼动仪的组合

一些研究工作将眼睛跟踪器与HMD相结合。Nilsson等人开发了带眼球跟踪器的视频透视HMD，并基于用户的凝视呈现免提交互。还有Lee等人采用具有场景摄像机和眼睛跟踪器的单目OST-HMD进行交互。由于HMD定位问题，他们的眼睛跟踪器跟踪左眼，而图形显示在HMD的右侧屏幕上。

与追踪器另外连接到显示器框架的HMD系统不同，Hua和Gao [11]设计了一种紧凑的眼睛跟踪HMD（ET-HMD），眼动仪作为光学系统的一部分集成到一起使用免费的形棱镜。

最近，Makibuchi等人开发了OST-HMD的标定方法。他们将摄像头连接到OST­HMD上，并用基准标记估计用户的眼睛位置。然而，他们需要用户交互来标定系统。

3 方法

本节分两个小节介绍我们的标定算法：第3.2节使用3D眼球位置制定整体标定程序，第3.3节提供关于3D眼球位置估计的更多细节。

3.1 符号

在整篇文章中，坐标系都被视为右手坐标系。粗体小写/大写字母表示矢量/矩阵，例如平移矢量t和旋转矩阵R。(·)^T表示变换矢量和矩阵。如果矩阵是用其元素显式写入的，则为清晰起见，将零元素留空。小写字母代表标量。大写字母表示坐标系，例如世界坐标系W。给定坐标系A，A中的3D点通过使用坐标符号作为下部索引的向量来表示：p_A。给定坐标系A和B，从A到B的相对变换由(R_AB，t_AB)表示，这里R_AB和t_AB分别代表旋转和平移。此外，A中的3D点p_A到B中的p_B的显式转换可以写为p_B=R_ABp_A+t_AB。

3.2 标定公式

本节分四个步骤介绍我们的方法。图2说明了我们的标定公式的空间关系。

在第一步中，考虑由眼睛定义的虚拟摄像机和OST-HMD的虚拟屏幕，假设屏幕及其坐标系S是平面的并且位于t_SEo：=[s_x，s_y，s_z]^T在相机坐标系E₀中。照相机可以被认为是离轴针孔相机。现在，在不损失一般性的情况下，假设E₀的z轴垂直于虚拟屏幕。然后，摄像机由固有摄像机矩阵K_E0表示为：

图2：(左图)示意图，图解了右侧屏幕S的相关内部坐标系，其中包括眼睛跟踪相机T、世界摄像机W和用户的眼睛E(或E ₀)。(右)分别确定从3D对象点p到屏幕点p _E或p _E0上的投影矩阵所需的空间关系。

---

S(t_SEo)将Eo中的3D点按实际比例转换为虚拟图像屏幕，A是通过缩放因子{ $\alpha$_x，$\alpha$_y}将投影屏幕点转换为图像像素