《A Novel Approach to 3-D Gaze Tracking Using Stereo Cameras》论文阅读

题目：A Novel Approach to 3-D Gaze Tracking Using Stereo Cameras
作者：Sheng-Wen Shih and Jin Liu
来源：IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics) ( Volume: 34 , Issue: 1 , Feb. 2004 )

特点：采用一套大视野摄像机建立辅助的立体视觉系统，通过这套辅助系统标定摄像机和屏幕之间的位置关系，再进行坐标系转换，前提是辅助系统必须是固定且已标定的。

摘要

本文提出了一种使用3-D计算机视觉技术进行三维（3-D）视线跟踪的新方法。该方法使用多个摄像机和多个点光源来估计用户眼睛的光轴，而无需使用任何与用户相关的参数。因此，它使得可能产生可能的校准误差的不方便的系统校准过程变得不必要。开发了一种实时3D视线追踪系统，该系统每秒可提供30次凝视测量。此外，提出了一种简单而准确的标定方法来标定视线追踪系统。在使用该系统之前，每个用户只需凝视目标点几（2-3）秒，这样就可以估计3-D视线和光轴之间的恒定角度。

关键词：视线追踪，眼动跟踪，视线，人机接口。

1. 介绍

当一个人盯着三维（3-D）点时，他/她的动眼机制控制他/她的眼睛，使该点的图像出现在中央凹区域。眼睛的3D 视线（LoS）是穿过3D点，中央凹点和眼睛光学中心的直线。三维注视跟踪可以根据人的眼睛外观确定并跟踪其3-D视距，并且在人机交互领域具有许多应用。Hutchinson等人提出了一种眼睛-注视界面（称为Erica）作为假肢修复设备。由于凝视输入用于选择多个大菜单框，因此凝视跟踪精度要求不高；因此，标定过程非常简单，可以在几秒钟内完成。Frey 等根据Erica开发了一个文本输入系统。Jacob 描述了如何处理视线追踪结果以提取稳定的注视点，以便人们可以利用眼睛的移动来指向和选择屏幕上的对象。Zhai 等提出将注视输入和鼠标指针结合起来以有效地控制光标位置。Sharkey和Murray 报告了合并注视跟踪结果以提高视觉远程呈现分辨率的可行性。Pastoor等和Redert等表明，通过合并凝视追踪器，可以以更现实的方式完成3-D渲染。请注意，由于中央凹的宽度大约等于1°的视野，因此大多数现有视线追踪方法的角度精度也约为1°。

在本文中，提出了一种使用3-D计算机视觉技术估算3-D 视线（LoS）的新方法。在这项工作中开发的视线追踪理论是根据Le Grand提出的简化眼睛模型得出的。结果表明，仅使用两个摄像头和两个位于已知位置的点光源，即可通过求解线性方程式来确定眼睛的光轴（OA）。人眼的光轴被定义为连接瞳孔中心和角膜曲率中心的3-D线。如果已经标定了摄像机和屏幕之间的几何关系，则一旦确定了眼睛的光轴，就可以将其转换为屏幕坐标系，以获取屏幕上的凝视点。这样，用户不再需要按照其他方法的要求参与密集的依赖于用户的标定过程。结果，可以采用复杂的标定方法来精确地标定跟踪系统，从而为不戴眼镜的用户提供几乎立即可用的视线追踪器。每个用户唯一需要标定的用户相关参数是OA和LoS之间的角度。每个用户只需确定一次，通常只需2-3秒。

A. 相关工作

现有的凝视追踪技术可以分为以下三类。

1. 二维（2-D）技术：那些无法提供3-D 视线完整信息的视线追踪技术被归类为2-D技术。在2-D凝视跟踪系统中，眼睛的3-D位置通常是未知的，并且仅测量用户的眼睛相对于用户的头部的相对方向。通常，二维技术要求用户保持头部静止不动。此外，如果期望获得高度准确的凝视追踪结果，则必须将某些辅助设备（如头枕，下巴托或咬合棒）与2-D凝视追踪技术结合使用。二维视线追踪技术包括：眼电位（EOG）技术、瞳孔跟踪技术、人工神经网络技术、瞳孔和角膜反射跟踪技术、双重浦肯野（Purkinje）图像跟踪技术和巩膜线圈（或搜索线圈）技术。如果可以在系统中确定眼睛的绝对3-D位置（它可以是角膜的曲率中心，眼球的旋转中心或头部上的任何其他固定位置），则任何2-D凝视跟踪系统都可以扩展为3-D跟踪系统）。
2. 基于模型的3-D技术：顾名思义，这些技术使用某些面部特征点的3-D模型从单眼图像中提供LoS的3-D信息。Stiefelhagen 等人实现的注视跟踪系统，跟踪六个面部特征点，以估计头部姿势和注视方向。Collet 等还开发了类似的注视跟踪系统，他们提出通过引入识别模块来验证跟踪结果来提高其面部特征跟踪子系统的鲁棒性。为了跟踪面部特征，必须使跟踪摄像机的视野足够大以覆盖用户的整个头部。这种方法的优点是允许用户在指定区域内自由移动其头部，但是使用大视野的相机会降低凝视跟踪的精度。为了克服这个缺点，可以使用另一台摄像机来获取用户眼睛的高清图像。
3. 三维技术： Pastoor 等已经实现了凝视跟踪系统，该系统包括一个用于跟踪3-D眼睛位置的头部跟踪器和一个使用角膜反射和瞳孔图像来跟踪凝视方向的平移-变焦相机。Sugioka等还开发了一种带有平移-变焦相机的注视跟踪系统，用于注视跟踪。两种算法都需要单独的标定过程。[6]和[16]中提出的凝视跟踪系统之间的主要区别是Sugioka等人直接使用超声波测距设备来估计平移变焦相机与眼睛之间的距离。但是，仍然可以通过使用瞳孔和角膜反射的2-D技术来估计LoS的方向，如[1]，[2]和[11]所述。
   

图1.Le Grand简化眼睛的结构

---

本文提出的视线跟踪方法与现有的视线跟踪方法有以下不同之处。

1. 一对校准的立体摄像机用于跟踪一只眼睛的凝视信息，而其他方法则使用一个摄像机跟踪一只眼睛。
2. 发光二极管（LED）的位置已预先标定。
3. 通过求解线性方程，可以明确确定用户眼睛光轴OA的位置和方向。因此，注视跟踪结果不仅可以用于推断屏幕上的注视点，还可以用于推断现实世界中的3-D注视点。
4. 由于所提出的方法采用了3-D计算机视觉技术，因此用户不必保持头部静止，也不必花费大量的时间来标定凝视跟踪系统。

B. 本论文的组织结构

第二节描述了本文中提出的基于眼睛模型的凝视跟踪方法。该方法使用点光源的第一浦肯野图像和多个摄像机来确定角膜的曲率中心（为方便起见，在下文中将其称为角膜中心），如第三部分所述。第四部分讨论了如何使用估计的眼睛3-D位置和观察到的瞳孔图像中心来计算视线方向。第五部分介绍了凝视跟踪系统的概况。第六节提出了一种简单准确的标定视线跟踪系统的方法。实验结果显示在第七节。结论在第八节中给出。

2. 人眼的简化结构

图2。（a）图解说明点光源，角膜，第一浦肯野图像和相机之间的几何关系的示意图。（b）瞳孔内的亮点是所记录的红外LED的第一浦肯野图像（虚拟图像）。

---

Le Grand 提出了在这项工作中采用的简化眼图模型（见图1）。在Le Grand的简化眼睛模型中，假设角膜和房水(角膜和晶状体之间的透明液体)具有相同的折射率。角膜的形状被假定为半径为8mm的假想球的一部分。巩膜是白色且不透明的膜，围绕角膜并覆盖眼球的其他部分。巩膜的表面比角膜的表面相对更粗糙，并且其曲率小于角膜的曲率。虹膜是不透明的组织，在其中心有一个孔，即瞳孔。人类的不同种族可能有不同颜色的虹膜。瞳孔的直径在2到8毫米之间变化，以适应不同的环境光线水平和某些心理因素。在简化的眼睛模型中，最复杂的结构是透镜。凝视不同距离的物体时，镜头的形状会发生变化。透镜形状和物体距离之间的未知关系导致难以预测穿过透镜的光的反射和折射。为了避免透镜引入更复杂的光学特性，我们将使用角膜第一表面的反射光和瞳孔的折射图像来推断眼睛的视线。因此，仅需考虑角膜的反射和折射。所提出的方法进行了以下假设。

1. 角膜表面具有恒定的曲率 1 / ρ （即，角膜的球面半径为 ρ）。
2. 可以将角膜和房水建模为具有均匀折射率的凸球形透镜。

3. 从第一浦肯野（Purkinje）图像计算角膜中心

当光束进入人眼的角膜表面时，一部分光线会被该表面反射，并且一部分光线在穿过该表面后会发生折射。被角膜外表面反射的光称为第一浦肯野图像（见图2（a） ）。由于第一浦肯野图像是镜面反射的结果，因此不同方向的观察者将观察到不同的图像。图2（b）显示了红外发光二极管（LED）的第一浦肯野图像。在视线追踪系统中，LED通常代替点光源，因为它们价格便宜。

图3。第一浦肯野图像P_img、点光源的位置Q和角膜中心的位置之间的关系。

---

让O表示相机的光学中心，Q表示点光源的位置。假设摄像机参数和点光源相对于摄像机坐标系的位置(由$\overrightarrow{OQ}$表示)已被精确标定(标定过程将在第六节中讨论)。给定CCD传感器平面上第一浦肯野图像的二维点(由P_img表示)和摄像机的标定光学中心O，可以通过反向投影P_img来计算三维矢量−$\overrightarrow{OP}$_img(见图3)。为了导出角膜中心位置的非线性约束和线性约束的清晰度，将辅助2-D坐标系定义如下：

• 原点由O定义，
• x轴由光线$\overrightarrow{OQ}$定义，并且
• 选择y轴，使得x-y平面包含向量$\overrightarrow{OP}$_img

A. 用一台摄像机和一个点光源计算角膜中心的非线性约束

根据基本几何光学中的反射定律，即入射角等于反射角，我们有∠MP₀Q = ∠MP₀O = $\frac{\pi +\alpha -\beta }{2}$，∠MP₀O = $\frac{\pi +\alpha -\beta }{2}$