上一期介绍了人类眼动的背景知识,包括眼动行为产生的原因和一般的眼动行为模式。接下来,Tobii Pro将分三个专题向您介绍有关于眼动仪和眼动追踪技术的基础知识。本期我们会介绍眼动仪的工作原理;下一期是眼动仪的时间和空间分辨率,第三期将介绍影响眼动追踪结果的关键因素。
了解这些知识可以帮助您更好地:
1. 明晰眼动仪的原理2. 理解原始眼动数据3. 选择合适的眼动仪4. 设置眼动实验环境5. 安排眼动实验流程
本文,您将会了解到眼动追踪技术的发展历史;现代主流眼动仪的一般原理和眼动仪能提供的原始数据。通过精读本文,您能够从根本上了解眼动仪的工作原理和它所能提供的数据,同时,您会意识到,眼动追踪技术非常易于使用。
“作为一种研究方法,它真的不特别。眼动追踪研究应该和任何非眼动的研究一样,遵循相同的研究原则。当然会有一些额外的注意事项,但它的核心是可靠而成熟的科学方法”(Aga, 2019)。当然,Tobii Pro会和大家一起梳理额外的注意事项。眼动研究,我们是认真的。
本章知识结构大致如下,预计阅读时间10 分钟:

1、眼动仪的发展历史
眼动行为的研究历史可以分为四个阶段:观察法;机械记录法;光学记录法;现代眼动追踪记录法。
1.1 观察法
早在19世纪末,20世纪初,就有一些生理和心理学家试图研究人类眼球的运动模式。最开始,研究者通常使用观察法。这些学者有的通过观察镜子中被试眼睛的成像来记录眼动轨迹;有的以眼球中一根特定的血管为标记物,记录该血管的运动轨迹;还有的在被试的阅读材料上打一微孔,力求在不影响被试阅读的情况下观察被试的眼动行为。
观察法方便易行,但它的局限性在于只能对眼动行为进行比较粗略的了解,结果不够精确。虽然现在已经不再使用这种方法,但一些基本的眼动行为,如注视,眼跳等都是使用观察法发现的。
1.2 机械记录法
20世纪上半叶,出现了眼动的机械记录法,即眼球运动由机械装置传动到记录装置上实现。其中大致有三种类型:
- 杠杆法:杠杆的一端固定在眼球表面,另一端在纸带上进行记录(1914);
- 气囊法:在眼镜上安装一个小气囊,眼睛运动会引起气囊内的压力变化,从而被记录装置记录下来(1913);
- 小型环状物法:一个中心有小孔的环状物被固定在被试的眼球上,被试可以通过这个小孔观察目标,杠杆或细线连接在环状物上以记录被试的眼动行为。
机械式眼动记录法十分复杂,并且需要对眼球进行麻醉,准确度和精确度都较低(闫国利, 白学军, 2018)。
1.3 光学记录法
20世纪中叶,以机械记录法的结构为基础,通过光反射记录眼动轨迹的仪器被发明出来。其中具有代表性的是Yarbus等人的光学眼动仪。他们使用了橡胶制成的吸盘(图1中结构1),将吸盘内的空气挤出,而后将其吸附在被试经过麻醉的眼球上。通过一些机械结构(图1中结构2、3、4),一面小镜子(图1中结构5)被固定在吸盘上,它反射一个固定光源。被镜子反射的光射向感光记纹鼓的感光带,从而被记录下来(Yarbus, 1967)。

虽然光学眼动仪是一种划时代的研究仪器,但它仍然存在许多局限和缺点。仪器的发明者和使用者显然非常清楚这一点:“每个吸盘在实验过程中都固定在被麻醉后的眼球上,不会造成痛苦的感觉或不良的效果。该吸盘可确保所用微型设备与眼睛牢固接触;在所有实验中,都应固定眼睑(图2),以防止被试眨眼,因为眨眼可能使吸盘移位或脱落。任何实验都不应超过几分钟。” (Yarbus, 1967)


1.4 现代眼动追踪技术
时间来到20世纪末、21世纪初,随着技术的发展,更多可靠,非侵入式,更精确的眼动仪被开发出来。
2、现代眼动追踪技术的介绍
现代眼动仪可以从两个维度来分类:使用场景和技术原理。
2.1 按照使用场景分类
按照使用场景来分类,现代眼动仪主要可以分为两种:屏幕式动仪和穿戴式眼动仪。
屏幕式眼动仪放置在距离被试一定位置的地方来监控被试的眼球运动。屏幕式眼动仪可以监控被试观察屏幕上呈现的刺激时的眼动行为(如图4a),此时实验是一个基于屏幕的眼动实验项目(Screen Based Project);也可以用于监控被试观察固定位置场景的眼动行为(如图4b),这时实验就是一个场景摄象机项目(Scene Camera Project)。


-图4. 通过屏幕式眼动仪的不同设置方式来探查被试的眼动行为(图为Tobii Pro Spectrum)-
穿戴式眼动仪通过将眼动追踪系统和场景摄像机集成在轻量化的框架上,例如眼镜或头盔上,来采集被试在真实环境中的眼动行为,被试可以自由移动,使实验的生态效度最大化。穿戴式眼动仪能够录制被试看到的场景,并记录观察过程中的眼动行为。当实验在穿戴式眼动仪上运行时,该实验被称为眼镜式项目。

2.2 按照原理分类
按照原理来分类,现代眼动仪可以分为电流记录法眼动仪、电磁感应法眼动仪、图像/录像眼动仪和瞳孔-角膜反射眼动仪(闫国利, 白学军, 2018)。上文提到的屏幕式眼动仪和穿戴式眼动仪都是基于瞳孔-角膜反射技术实现的;并且,瞳孔-角膜反射技术也是当今眼动仪市场上最主流的技术。
3、瞳孔-角膜反射技术
瞳孔-角膜反射 (Pupil Center Corneal Reflection, PCCR)技术,也有学者将其称做普金野图像(Purkinje Reflection)跟踪法(闫国利, 白学军., 2018)。这种技术有精度高、非接触、无创等优点,广泛用于现代的眼动追踪设备中。
该技术的基本原理是(1)使用红外线照射眼睛;(2)使用摄像机采集从角膜和视网膜上反射的红外光线;(3)由于眼球的生理结构和物理性质,在光源和头部相对位置不变的前提下,角膜反射形成的光斑不会移动而(4)视网膜上反射的光线方向标示了瞳孔的朝向(光源光线从瞳孔射入,视网膜反射光线从瞳孔射出);最后(5)根据角膜与瞳孔反射光线之间的角度可以计算出眼动的方向(闫国利, 白学军, 2018; Aga, 2019)。
PCCR眼动技术的核心原理可以用一句话表述:“视线方向由瞳孔中心相对于角膜反射的位置确定。”(Aga, 2019)


-图6. 头部和光源的相对位置不变时,瞳孔和角膜反射的相对位置会随着眼球的转动而改变(Aga, 2019;Duchowski,2007)-
如图6a 和图6b 中所示,眼睛上的亮斑是角膜反射形成的,它的位置由光源和被试头部的相对位置决定。如果被试保持头部不动,转动眼球向四周观察,角膜反射不会移动,只有瞳孔会移动。图中可以很清晰地看出瞳孔中心与角膜反射变化之间的方位关系。
下面让我们考虑另一种情况,被试注视一个固定目标(此时忽略微眼跳),同时转动头部,观察瞳孔和角膜反射的相对位置如何变化。

从图7中不难看出,当被试盯着一个固定目标时,无论如何移动头部,瞳孔中心和角膜反射之间的位置关系都不会改变。即使被试在移动,眼动仪也能反映她在看同一个位置。
因此,在光源和头部位置相对稳定的情况下,采集角膜和视网膜反射的光线,并分析它们的相对位置关系,就能够得到瞳孔朝向的数据。这就是瞳孔-角膜反射式眼动仪的原理。
Tobii Pro眼动仪改进了传统的PCCR眼动追踪技术 (专利号:US Patent US7,572,008),使用多个近红外光源,因此可以提供更多的参照点辅助分析,保证数据稳定可靠;
Tobii Pro眼动仪使用多个眼动传感器,它们之间的协同工作能够更准确地采集反射光线并在被试头动时互相补偿;
由于客观的生理差异,每一位被试的眼球生理结构都不相同。Tobii Pro眼动仪复杂的图像处理算法能够为每一位被试生成一个特定的三维眼球模型,通过这个模型,可以精确地计算出眼睛在空间中的位置和被试视线的落点;
根据该三维眼球模型,配合Tobii Pro特有的多红外光源➕多个眼动传感器,当被试在在一定范围内(头动空间)自然头动时,Tobii Pro眼动仪能保证在该空间内数据的精确度和准确度。我们称之为“头动补偿算法”。


-图8. Tobii Pro 眼动仪的一般原理 & Tobii Pro Fusion的结构图-
图8a展示了Tobii Pro眼动仪的特点和原理,Tobii Pro改进了传统的瞳孔-角膜反射技术,采用精密的算法为被试生成一个三维眼球模型,以尽量减少数据中因被试生理差异带来的额外变异。
图8b 中展示了Tobii Pro新一代超便携科研级眼动仪Tobii Pro Fusion的内部结构图。可以看到Tobii Pro特有的多枚不同方位的红外照明光源和两枚眼动传感器。这些硬件允许Tobii Pro 眼动仪在多个维度上计算角膜反射与瞳孔位置的相对数据。以此在数据间相互补充,相互验证,在最大程度上减少误差,提供可靠的数据质量。
由此,Tobii Pro眼动仪不仅可以满足一般的研究需求,还可以提供更高的生态效度,并且能够有效获取一些注意力很难集中和保持的被试(如婴幼儿,灵长类动物)的眼动数据。
4、眼动仪能够提供哪些数据?
在阅读眼动研究文献和学习眼动知识时,眼动仪产生的数据通常都以各种指标的形式出现。例如首次注视时间(Duration of First Fixation ),首次进入时间(Time to First Fixation) ,注视次数(Number of Fixations )等等。这些指标纷繁复杂,叫人一时弄不明白。许多眼动研究新手还没尝试眼动仪,就已经被这些概念吓退了。
但其实,这些看似复杂的指标都是由原始数据根据一定的规则计算出来的。而眼动追踪的原始数据并不难理解,与行为数据没有本质上的不同。眼动也是一种人类行为,只是这种行为更精细,比单纯的反应时和正确率数据更难测量。正如前文所提到的,也是我们最想让您明白的:眼动追踪作为一种研究方法,它真的不难。
眼动的原始数据可以分为如下几个方面:
- -时间戳信息
- -事件信息
- -视线落点
- -眼球位置
- -瞳孔直径
- -有效性数据
眼动追踪设备通常能够报告两种时间戳信息:设备时间戳和系统时间戳。设备时间戳的来源是眼动仪硬件中的内部时钟,而系统时间戳则来源于运行实验的计算机(二者的单位都为微秒)。对于进阶研究者来说,设备时间戳和系统时间戳可以用来计算数据流的实时延迟。
事件信息包含了计算机向眼动仪发送的信息,一般用于标志实验事件的开始和结束。具体的发送时间由实验编制者定义。事件信息与时间戳信息的结合可以用于计算TOI(Time of Interest)。
视线落点以不同坐标系中的二维数组(x, y)描述了视线在屏幕上的位置。
眼球位置以不同坐标系中的三维数组(x, y, z)描述了眼球在空间中的位置。
瞳孔直径以传感器获得的瞳孔图像为基础,换算出被试实际的瞳孔大小,该值通常以毫米为单位。
关于有效性数据,眼动仪通常能够提供三种有效性数据。有效性数据能够标示该次取样的数据是否可信,有效性是通常二分变量,1代表数据有效,0代表无效。导致算法将某次取样视为无效的原因有很多种,例如被试在取样时眨眼或注视了刺激显示区域外的位置。在您进行研究时,可根据实验的目的筛选和剔除这类数据。
5、眼动数据坐标系
对于进阶研究者来说,您可能想要更全面地了解原始数据。眼动仪在记录数据时,通常会以多种不同的参照物建立参考系,既方便记录,也方便研究者以自己习惯的方式调用和分析。
以Tobii Pro Lab输出的原始数据为例,主要有两种标示眼动数据的坐标系,分别是显示区域坐标系(DACS)和媒体坐标系(MCS)。这两种坐标系是一个物理位置的两种描述方式。每一种坐标系都会分别记录被试左眼和右眼的信息。
5.1 显示区域坐标系(Display Area Coordinate System, DACS
DACS是三维坐标系,其原点位于屏幕(刺激显示区域)的左上角,X轴指向右方;Y轴指向下方(屏幕上位置较低的点Y值较高);Z轴垂直于屏幕指向被试。对于屏幕上的位置,Z值都为零。DACS可以标示视线落点,眼球位置和注视方向。Tobii Pro对三维空间位置的原始编码是依据被试坐标系(User Coordinate System,UCS)计算的。Pro Lab会自动将坐标值从UCS换算到DACS中,并提供给研究者。

一个补充:被试坐标系(User Coordinate System, UCS)

Tobii Pro的屏幕式眼动仪在计算空间中的三维位置时通常使用被试坐标系(UCS)。UCS是单位为毫米的坐标系,其原点位于眼动仪的前表面(朝向被试的一面)的中心。
坐标轴的方向如下:X轴水平指向被试的右侧,Y轴垂直指向被试的上方,Z轴指向被试,垂直于眼动仪的前表面。
这里列出UCS的相关知识是为了方便您理解Tobii Pro进行三维空间位置计算的方法。注意:UCS只在Tobii Pro SDK中可用。
5.2 媒体坐标系(Media Coordinate System, MCS)
在场景摄像机项目中(如下图),实验环境中不一定有计算机屏幕,但一定有一个眼动仪测量的平面。这个平面可能是计算机屏幕,但也可能是墙上的白板,桌子上的平面或场景中的虚拟表面。如果被试没有将视线集中在平面中的对象上,眼动数据就会产生误差。为了将场景中的视线数据匹配到视频录像中,重要的是将场景视频中的视线落点换算到眼动仪测量的平面上。Tobii Pro Lab可以将视线数据从DACS换算至MCS。MCS中的坐标只能以相对坐标或像素为单位。

MCS是基于刺激材料性质的坐标系,在基于屏幕呈现的眼动实验项目中以刺激材料的分辨率作为单位;在基于场景摄像机的眼动实验中以场景摄像机拍摄到的视频分辨率为单位;在穿戴式眼动实验项目中以拍摄到的视频分辨率或导入到软件中的Snapshot图片的分辨率为单位。

6、结语
本章中我们向您介绍了如下相关概念
- 早期眼动研究的方法和仪器;
- 现代眼动仪的种类(按照使用场景和原理来分类);
- 现代主流的眼动追踪技术:瞳孔-角膜反射技术;
- 眼动仪能够提供的原始数据;
- 对于进阶研究者:坐标系的概念(以DACS和MCS为例)
读完本文,相信您已经对眼动仪的原理有了比较清晰的认识,也能够从最基础的层面上理解眼动数据的本质。希望这些内容能够增进您对眼动追踪研究的理解,并打消您对眼动追踪技术的顾虑。
下一期,Tobii Pro还会和大家一起梳理眼动仪的另外两个关键概念:时间和空间分辨率。这可以帮助您看懂眼动仪的参数,评价眼动追踪的数据质量以及帮助您确定适合自己研究需要的眼动仪参数。
参考文献
- Aga Bojko. (2019). 眼动追踪:用户体验优化操作指南(葛缨,何吉波 译)北京:人民邮电出版社.
- 闫国利, 白学军. (2018). 眼动分析技术的基础与应用. 北京:北京师范大学出版社.
- Niehorster, D. C., Andersson, R., & Nystrom, M. (2020). Titta: A toolbox for creating PsychToolbox and Psychopy experiments with Tobii eye trackers. Behavior Research Methods, 52(1), 295–304.
- Yarbus, A. L. (1967). Eye Movements and Vision (B. Haigb & L. A. Riggs, eds.).
- Duchowski, A. (2007). Eye Tracking Methodology: Theory and Practice(2nd ed.). London: Springer-Verlag.