【视线追踪】视线追踪的性能评估框架 及 基础知识

一、前言

本博客核心参考论文：

A Review and Analysis of Eye-Gaze Estimation Systems, Algorithms and Performance Evaluation Methods in Consumer Platforms

A. Kar and P. Corcoran, Towards the development of a standardized performance evaluation framework for eye gaze estimation systems in consumer platforms, in Proc. IEEE Int. Conf. Syst., Man, Cybern., Budapest, Hungary, Oct. 2016, pp. 002061 002066.

目前，视线追踪技术有以下应用平台：

• 电脑：主要用来人机交互——计算机通信和文本输入（比鼠标更有效率，而且更适合残障人士使用）
• 电视：选择和导航菜单和切换频道
• 头戴设备：应用于用户注意、认知研究、精神分析；或者是VR的局部渲染，如果能够通过头盔内置摄像头估计人的视线方向，则可以对场景做局部精细渲染，即仅对人视线范围内的场景精细渲染，从而大大降低硬件成本。
• 汽车装备：检测驾驶员是否疲劳驾驶以及注意力是否集中。
• 手持设备：亮度、音量调节等人机交互功能。

在这些不同平台中，由于硬件、生物差异等因素各不相同，导致不同平台间的变量很多，差异很大，导致同样的算法在不同平台中表现会不一样。

同时，还因为在当今的研究文献中：

1. 不同文献衡量视线追踪性能的指标也不一样，导致不同研究之间很难直接进行对比；
2. 在进行视线追踪研究时，所考虑的误差不够全面，所查阅的文献中，只有少数几篇论文研究了操作条件对系统性能的影响；
3. 术语的使用也没有一个统一化的规范。

这一切都不利于该领域的后续发展。所以，为了：

1. 研究各种误差源对系统性能的影响；
2. 以统一误差格式，来定量报告系统性能；
3. 确定每个平台的精度性能瓶颈。

本文：

1. 提出了一个标准化的性能衡量框架。
2. 为视线评估技术做一个综述性的介绍，包括系统、算法、以及有哪些误差因素会影响精度。

二、为什么要开发性能评估框架？

1. 应用平台之间操作环境不一样

五个平台中视线追踪技术的使用条件完全不同。因此，根据平台的不同，视线追踪器也可能产生显著不同的结果。

表4给出了五个视线追踪平台的硬件配置和使用条件，包括用户姿势和视角、屏幕尺寸、用户与屏幕摄像机设置之间的典型距离。

在误差方面（使用度数误差）：

• 通常情况下，头戴式系统误差低于一度，优于其他平台。
• 对于桌面系统，其误差从0.5度到2度不等
• 对于汽车和手持设备等更具动态性的平台，其误差在2度以上。

2. 文献中性能评价指标不一样

通常来讲，我们使用以下指标来衡量视线追踪系统的性能：

1. 角度分辨率（以度为单位）
2. 视线识别率（以百分比为单位）
3. 视线和目标位置之间的最小像素位移/距离。

但是这些指标之间没有任何关联。在参考文献中，不同的文章使用了不同的指标，例如百分比识别率或错误率。这就导致了，大多数视线估计方法之间无法相互比较。

图10显示了不同平台不同格式精度的论文数量。

从表5可知，视线估计这项研究中，目前没有一个用来评价性能指标的标准。如表所示，在来自电脑/电视应用平台的总共69篇论文中：

• 44篇论文使用了以度为单位的追踪精度
• 16篇论文使用了视线识别率
• 9篇论文使用了混合单位。

而在所有平台的182项研究工作中：

• 95篇论文报告了以度为单位的视线准确度得分
• 41篇论文报告了百分比（正确检测率）
• 46篇论文使用了其他单位。

另外，桌面和头戴式平台常使用度作为单位，而汽车或手持设备更倾向使用其他度量衡。这样会导致大量研究得出的性能既不能比较，也不能进行定量解释。

3. 有很多误差源没有被考虑到

视线追踪系统会被很多因素影响，这些因素，我们称之为误差源。

• 在台式机平台上，误差主要来源于头部移动。
• 在头戴式设备中，误差源于追踪器未校准、追踪器延迟…
• 汽车系统，头部移动、可变照明、阴影造成的遮挡或用户戴眼镜…
• 在手持设备中，用户相对于设备的位置发生变化、头部姿势、手抖动、可变照明和Midas-touch。

[31] B. B. Velichkovsky, M. A. Rumyantsev, and M. A. Morozov, New solution to the midas touch problem: Identification of visual commands via extraction of focal fixations, Procedia Comput. Sci., vol. 39, pp. 75 82, Dec. 2014.

在视线估计中，有些误差源已经进行了研究：

• 头部姿势的变化
• 用户距离和视角。

但是也有很多误差源没有考虑：

• 如追踪视线的屏幕的尺寸和像素分辨率
• 平台移动和抖动
• 照明变化
• 相机质量
• 人眼遮挡等

众多文献中：

• 基于桌面系统的69篇论文中，只有35篇报告了头部姿势变化的影响
• 基于头戴式系统的57篇论文中，只有16篇报告了头部姿势变化的影响
• 台式和头戴式平台中都只有2篇论文报告了视线追踪装置的显示属性的效果。
• 4篇论文在台式机上报道了照明变化的影响，
• 1篇在头戴式系统上报道了照明变