视线追踪技术的前世今生

一. 综述：

视线追踪，英文称为Eye tracking/gaze tracking，是测量人眼凝视点和相对于头部运动程度的技术。视线追踪主要关心的内容是：看哪里、看多久。
世界上第一非侵入式的眼动仪由“Guy Thomas Buswell in Chicago”1922年在芝加哥研制成功，使用在眼睛上反射的光束，然后将它们记录在胶片上，实现对视线的位置判定。
在20世纪70年代，眼动追踪研究迅速发展，尤其是阅读研究中。二十世纪八十年代开始使用眼动追踪来解答人机交互的问题。具体而言，研究人员调查了用户如何在电脑菜单中搜索命令 ，此外，计算机允许研究人员实时的使用眼动跟踪结果，当时这样主要是为了帮助残疾用户。

二. 眼动仪分类

目前眼动仪分为：1）接触式测量仪；2）非接触式测量仪；3）非接触电极测量 三种。第一类由于使用不舒适，这里不做深入研究。

2.1 光反射眼动仪

第二大类使用一些非接触的光学方法来测量眼睛的运动。通常是眼睛反射红外线，摄像机或其他专门设计的光学传感器进行测量，然后分析测量信息，从反射光斑的变化中提取眼睛旋转信息。基于视频的眼动仪通常使用角膜反射（第一个浦肯野图像）和瞳孔中心作为随时间追踪的特征。一种更为敏感的眼动仪，双浦肯野眼动仪使用来自角膜（第一浦肯野图像）和镜头背面（第四浦肯野图像）的反射作为要追踪的特征。另一种使得跟踪更灵敏的方法是对眼内部的特征（如视网膜血管）进行成像，并在眼睛旋转时跟踪这些特征。光学方法，特别是基于视频记录的方法，由于其非侵入和廉价性正被广泛用于注视跟踪。

大多数现代眼动仪使用瞳孔中心和红外/近红外非准直光来创建角膜反射（CR）。 瞳孔中心与角膜反射之间的矢量可用于计算视线关注点。

关于瞳孔中心的计算，通常使用明、暗瞳孔的方法：当光源发出的光线与人眼注视光路同轴，那么当光线从穿过瞳孔进入视网膜，再从视网膜反射回来时就会产生明亮的瞳孔效果； 如果照明光源偏离人眼注视光路，那么进入瞳孔的光线绝大部分无法再从瞳孔反射回来，瞳孔就会变黑。这样可以通过控制入射光线角度，得到明暗瞳孔两张图，对两张图求差，迅速的可以定位瞳孔位置。


使用明亮瞳孔跟踪技术可以产生更大的虹膜/瞳孔对比度，可以克服虹膜色素沉着等因素，实现准确的眼动跟踪，并大大减少由睫毛和其他模糊特征造成的干扰，而且它还可以在完全黑暗一直到非常明亮的照明条件下进行跟踪。但是，缺点就是对环境光的干扰比较敏感。
还有一种方法是使用被动光源，例如环境光，但是这样瞳孔的对比度就比较差，不易提取，因此就常常使用虹膜或者巩膜来计算瞳孔中心位置。
需要注意的一个问题，明亮瞳孔不一定方便获得，例如人眼不能要求一直盯着红外灯看，否则体验就很差。什么条件下可以产生明亮瞳孔？如下条件要满足：1.人眼被主动红外光照亮；2.人眼视野内有红外发射器，这个具体实验测试一下亮瞳产生的条件。如果亮瞳容易获取，那么定位瞳孔中心就没有问题。

视线追踪技术路线

综上，计算视线位置的技术路线如下：

1. 控制主动光源，使得亮瞳和暗瞳瞬间交替，计算瞳孔中心；
2. 控制主动光源，停止亮瞳产生条件，计算光斑位置；
3. 计算光斑矢量，通过神经网络计算屏幕坐标。
4. 关于神经网络的训练：
   - 训练数据采集：头部固定眼睛盯着屏幕指定编码位置，采集当前的人眼光斑信息；头部不固定采集上述数据；
   - 由光斑经模型计算关注坐标$(x,y)$,也就是坐标的估计值；
   - 将估计值$(x,y)$与标注值$(X,Y)$进行损失计算，得到距离$d_{loss}$
   - 采用梯度下降法修正模型参数$(w,b)$
   - 当残差$d_{loss}<d_{th}$达到门限要求停止训练。
   整个过程需要不断的调整神经网络的构架，具体问题具体分析。

[参考文献：]

1. Eys tracking–wikipedia
2. 2.