本文综述了在各种学科的研究中使用眼动技术的最佳实践。首先对眼睛和眼球运动的解剖学和生理学的基本框架进行了简述,并描述了眼动跟踪可以解决的各种研究问题。然后进一步解释了眼动技术的工作原理和它产生的数据类型,并就如何选择和使用眼动仪以及选择适当的眼动测量方法提供指导。最后,本文描述了眼动研究有效性面临的挑战,以及克服这些挑战的建议,并概述了眼动研究后正确报告的标准。本文发表在International Journal of Psychophysiology杂志。
本文旨在为新的研究者以及不熟悉眼动的编辑和审稿人提供有效的、可复制的眼动跟踪研究的基础入门指导。眼动跟踪是一种丰富的实验方法,近年来使用量激增(见图1)。随着这种技术的广泛使用,滥用的可能性也增加了。信息缺乏和培训不足会导致研究设计不良、分析不当和报告不完整。近年来,这些“危机”的再次出现席卷了心理学和许多其他科学学科。根据已有研究发现,当前的研究只有37%的研究结果是可重复验证的。眼球追踪研究也不能幸免于这一趋势,并且由于许多不同的原因可能产生不可复制的结果。本文希望通过为研究者提供足够的基本眼球追踪理论和实践的介绍来防止一些可以避免的错误影响结果。这将有利于让新手研究人员有更好的实验设计、执行和记录。本文也将帮助审稿人和编辑提供一个简要的参考,讨论眼动研究的基本要素,它们的重要性,以及必须避免的常见陷阱。
为了达到这一目标,本文将对以下问题进行讨论:什么是眼动追踪?眼动追踪的简要定义、它的历史和发展,以及可用性;眼球和眼动的解剖基础:关于视觉和眼球运动生物学基础的讨论(对于那些想在临床或神经科学研究中使用眼球追踪的研究人员,附录a提供了关于眼球运动生理学的更深入的信息);眼动追踪设备:关于如何选择和使用眼动仪的指南,包括确保数据质量和选择适当的眼动仪方案;大量眼动研究的有效性:提供如何避免影响实验结果有效性的常规问题的建议;眼动研究的报告:为如何撰写眼动文章的方法部分提供指导。最后,还有一些章节为对瞳孔测量感兴趣的读者提供了额外的信息,其中讨论了使用眼动仪来测量瞳孔大小的变化,或者想要知道更多关于如何将眼动追踪技术与EEG或者fMRI相结合的读者也可以获取有用信息。
图1 从1968年到2018年之间眼动研究的增长趋势
当然,不可能在一篇文章中详细介绍这些所有的主题。在整篇文章中,只要有关于眼动跟踪使用和方法的文章,读者都可以去参考。建议读者参考以下一本书或更多的作品,以获得更全面的指导:Bergstrom and Schall (2014), Bojko (2013), Conklin et al. (2018), Duchowski (2017), Godfroid (2020), Holmqvist et al. (2011), Klein and Ettinger (2019), or Wade and Tatler (2005)。这些研究中有一部分介绍的是眼动方面的基础知识。还有一部分主要关注于一个特定的学科,但应该包含对任何研究人员有价值的信息和指导。也有一些书籍和发表的论文阐述了眼动跟踪是如何被使用的,或者为在特定学科或主题(包括阅读、经济、婴儿期和成长期的研究、学习、记忆、情感障碍、自闭症、诊断、决策、精神和神经障碍、用户体验设计与可用性研究、运动研究、航空、翻译、组织学等领域)中使用眼动跟踪提供指导。
1.什么是眼动追踪?
眼动追踪是一种用于记录在一段时间或者任务中眼动和凝视位置信息的实验方法。它是一种视觉注意方面数据的常规方法。眼动追踪研究的过往历史在Wade and Tatler (2005)的研究中有被阐述,在本文中将简略阐述。眼动追踪的起源可以追溯到Charles Bell,他首先将眼动控制归于大脑,对眼动进行分类,并描述了眼动对视觉方向的影响,定义了眼睛和神经系统之间的生理联系,将眼睛的运动与神经和认知过程联系起来,从而打开了一扇了解大脑内部工作的潜在窗口。在接下来的一个世纪里,人们发明了各种各样的方法来客观地测量眼球运动。Delabarre(1898)发明了一种用机械连接在角膜上的石膏环上的笔记录眼球运动的方法。Buswell(1935)发明了一种利用棱镜捕捉角膜反射到胶片上的光束的方法。Yarbus(1967)在他的经典知觉实验中开发了一种可以通过吸力附着的角膜晶状体来记录眼动的技术。无论采用哪种方法,从历史上看,眼球追踪是昂贵和费力的,需要研究人员直接观察和分类个体参与者的行为。这成为许多研究人员的障碍,限制了研究的速度。
值得庆幸的是,眼动跟踪技术的改进使得眼动跟踪对参与者和研究人员来说都更加经济和友好。基于摄像机的眼动仪可以通过测量红外光相对于瞳孔的角膜反射位置,高度准确地确定眼睛凝视的方向。这些特点可以让仪器在桌子上或者佩戴者被试头上就能记录到数据,并允许实时眼动跟踪,使运用于更广泛的实验范围成为可能。随着眼动跟踪方法的不断完善和适应性的提高,越来越多的研究者开始进行眼动跟踪研究。因此,在过去20年里,眼动跟踪技术在多个学科的研究中得到了爆炸式的应用。
图1所示的大多数出版物都属于心理学领域(58.13%),主要是实验心理学(21.72%)。眼动技术也被用在更多不同的学科当中,包括医学和康复学(32.75%)、神经科学(17.86%)、数学和计算机科学(13.51%)、其他社会科学及教育(12.94%)、工程与技术(11.89%)、语言学(9.39%)、生物与农业(6.52%)、物理与化学(3.32%)、商业与法律(2.87%)、环境科学(1.83%)。
1.1 为什么要追踪眼睛运动?
眼动仪测量在一项特定任务中注视的方向、方式和顺序。眼睛的结构将高度敏锐的视力限制在视野的一小部分(学术界将该区域称为中央凹,下面将会详细阐述)。因此,人们有强烈的动机移动眼睛,这样中央凹就会指向我们当前正在思考或处理的任何刺激。这就是所谓的眼-心连接,并使眼动跟踪成为探索视觉注意分配问题的可靠工具。
我们看向哪里,看多久,会受到注意力以外的认知过程的影响,比如感知、记忆、语言和决策。不过眼睛和心灵之间的联系并不是绝对的,一般来说,眼睛反映了我们在任何特定时刻所看到的事物的心理过程。这使得眼动跟踪广泛适用于大多数探索心理过程的研究。由于眼动追踪具有高度的时间分辨率,因此它可以对认知进行实时的观察记录,而不是简单地揭示最终结果。此外,眼球运动在很大程度上是不受意识控制的。虽然个体可以选择看什么和什么时候看,但运动的细节很大程度上是反射性的;人们通常不善于记住他们具体看了哪里。这意味着眼球追踪可以进入无意识过程。由于眼球运动是由一个广泛分布的系统控制的(见附录A中的图3),当大脑受损或紊乱时,眼球运动可能会受到干扰。大脑眼动控制网络的扰动产生独特和可测量的信号,使眼动有助于表征病变的位置和宽度。因此,眼动有可能被用作诊断标准。有兴趣在临床人群中使用眼动跟踪的研究人员应该了解眼动控制的生理学基础(见附录A)。
2 眼睛解剖和眼球运动的基础知识
对眼睛的生理机能以及眼睛如何运动的基本了解,对于成功进行眼动跟踪研究是很有用的。下面的部分提供了关于眼睛结构和运动的基本信息,这对任何使用眼动跟踪技术的用户来说都是重要的。想要更全面地描述眼动生理学和分类的研究者,包括视觉和眼动控制下的神经和运动系统,应参阅附录A。
2.1 眼睛的解剖结构
眼睛的功能是收集、聚焦和转换光线。在许多方面,它类似于一个带有光圈、镜头和感光区域的照相机。光线通过瞳孔进入眼睛,瞳孔的直径控制着进入眼睛的光线数量和产生的图像强度。角膜和晶状体将光线聚焦在视网膜上,形成倒置但清晰的图像。精细的细节和色觉主要是视网膜中心凹陷结构的产物,该结构被称为中央凹,这里是颜色感受器——视锥细胞——最集中的地方。落在中央凹上的光形成了视野的中心,这个区域内密集的受体编码了高水平的细节。换句话说,中央凹捕捉到眼睛当前所指向的任何东西的详细图像。中央凹很小,直径只有1.5 mm,只有最敏感的区域直径250 ~ 300 μm。这个面积只占每只眼睛140°视角的1°20′,大约是一个指甲盖在整只胳膊上所占的比例。在中央凹的外面是一个被称为副中央凹的区域,这里的敏锐度较弱,但可以收集到一些信息。在此之外是外围,它只检测低频视觉信息。由于中央凹非常小,眼睛必须在视觉环境中来回移动,以收集详细的视觉信息。这种运动是由一个复杂的网络结构协调的,该网络遍布皮层和脑干(见下文附录A)。一旦收集到视觉信息,视觉信息就通过视神经(CN II)传递到中枢神经系统,然后由中枢神经将信息传递给丘脑,然后是枕叶皮层。在这个阶段,视觉信息被组装成图像,然后被传递到顶叶、颞叶和额叶的其他皮质中心进行解释和反应(见图3)。
图3 眼球运动的网络。
由皮层区域产生的自主运动计划被传递到脑干的中间结构。这些结构然后协调并传递这些计划到中脑和脑桥的动眼肌核,后者直接支配眼外肌。
皮层区域包括:额前眼野(FEF)、背外侧前额叶皮层(DLPFC)、扣带眼野(CEF)、补充眼野(SEF)、内侧颞叶(MT)、内侧颞上叶(MST)、顶叶眼野(PEF)和后顶叶皮层(PPC)。
中间地区如下:上丘(SC)、后连合核(nPC)、舌下前置核(PHN)、内侧纵束口侧间质核(RImlf)、Cajal间质核(IC)、桥旁区网状结构(ppRF)和中脑中脑网状结构(cmRF)。
动眼肌核:动眼神经(CN III)、滑车神经(CN IV)、外展神经(CN VI)。
眼外肌:(1)上直肌,(2)上斜肌,(3)内直肌,(4)下斜肌,(5)下直肌,(6)外侧直肌。
2.2 眼动:注视和扫视
注视是眼睛注视一个视觉目标所维持的一段时间,在此期间视觉的感知是稳定的,眼睛在接收视觉信息。如上所述,中央凹很小。眼睛无法在单次注视中获得整个视野的高质量信息,因此需要眼睛的频繁运动。因此,大多数注视时间相对较短。注视的时间长短取决于多种因素,如视觉刺激的性质、任务的目的和复杂性、个人的技能和注意力,但通常持续180-330毫秒。扫视是眼睛从一个注视点到下一个注视点的扫视运动(阅读和场景查看的例子见图2)。在扫视过程中,视觉输入被抑制,所以当我们的眼睛进行扫视时,我们实际上是看不清东西的。扫视速度和持续时间是所走距离的直接函数。眼跳的大小和持续时间根据手头的任务而不同。典型的阅读扫视很小(2°旋转),注视时长大约30毫秒,而场景感知中的扫视通常更大(大约5°旋转),注视时长大约40到50毫秒。
图2 基本的眼球运动被称为扫视(A是蓝色箭头,B是黄色箭头)。
扫视是眼睛从一个位置移动到另一个位置时所做的快速跳跃运动。在这些扫视之间是注视点(用红色圆圈表示)。注视是指眼睛集中在一个点上的一段时间,比如句子中的一个词或场景中的物体。这些停顿可以让眼睛接收视觉信息。A.阅读时,从左到右注视(英语)。有些词被省略了。阅读中的倒退是指眼睛移动到文本之前的区域。B.在观看场景时,注视点一般集中在图像中有意义或视觉上突出的部分,扫视的方向和幅度变化较大。
2.3 其他类型的眼动
虽然扫视是最常见的眼球运动跟踪形式,但研究人员有时也对其他形式的眼动感兴趣。这些动作包括一些可以故意做出的动作,如扫视,如平滑追视(跟随移动的视觉目标)和收敛(当视觉目标离参与者更近或更远时,使眼睛聚集或分开)。其他眼部运动不受自主控制。例如,瞳孔直径是由副交感神经和交感神经系统的拮抗作用调节的(更多内容见瞳孔测量部分)。其他的反射性运动包括视动反应(当物体穿过环境时,眼睛平滑地追逐,然后立即回到原来的位置;前庭-眼反射(由于前庭神经的激活,眼睛为了保持稳定的视网膜图像而进行的运动;即使在注视过程中,当知觉看起来稳定时,眼睛也会继续移动,有震颤、漂移和微眼跳。
3 眼动仪
这部分内容主要集中在眼动仪方面,尤其是眼动技术的选择和应用。
3.1 眼动仪是如何工作的
现在大部分的眼动仪是基于摄像机工作的。它们把一些光源照射到眼睛里,通常是人类看不见的红外光。这种光在角膜上产生反射,然后由眼动追踪软件进行识别。并且识别瞳孔位置。然后进行校准,要求参与者看屏幕上已知位置的一系列点。这种校准在验证阶段进行测试。如果校准良好,那么通过瞳孔和角膜反射的相对位置就可以高度准确地估计出注视点(被试注视的地方)。
3.2 眼动仪的选择
市面上有各种各样的眼动仪。其中最著名的两家制造商是Tobii和SR Research,研究人员正在开发开放权限的软件,将网络摄像头变成低分辨率的眼动仪。在决定使用眼动仪之前,很重要的一点是要考虑眼动仪的用途,因为不同的系统有不同的用途。眼动仪获取数据的速度各不相同。眼动仪的采样率以Hz为单位测量。最快的商用眼动仪每秒可记录眼睛位置2000次(2000 Hz),而可穿戴眼动眼镜可能每秒只能采样50次(50 Hz)。如果需要毫秒级别精度的数据时(例如,当寻找一个小效应量的时间效应时,或当实验涉及到注视的偶发显示变化时),更高的采样率是可取的;当采样率较低时,需要收集更多的数据来平均时间采样误差。如果用户最感兴趣的是记录参与者看了什么,较低的采样率通常是可以接受的。
一些眼动仪要求头部通过下巴托来稳定,而另一些则不需要头部支撑。下巴托可以提高测量的准确性,当知道注视的精确位置对研究很重要时(例如,在研究小眼球运动时,或者在阅读研究中知道注视的单词很重要时),就应该使用下巴托。在大多数情况下,不依赖于下巴托的眼动仪仍能提供可接受的精度水平。在某些情况下,下巴托就不合时宜了,例如当被试是婴儿或者儿童时。许多眼动仪是固定的,在实验室使用时效果很好,但有些是便携式的(如SR Research Eyelink便携式Duo),而另一些则设计为可移动的眼动仪,参与者可以在进行日常工作时佩戴。通常,机动性的增加意味着精度和准确度的降低。此外,一些眼动仪可以跟踪两只眼睛,而另一些只跟踪一只眼睛(还有一些可以配置为跟踪一只或两只眼睛)。由于眼睛在大多数情况下是一起移动的,所以追踪两只眼睛通常是没有必要的。单目和双目跟踪的比较见Hooge等人(2018)。
3.3 眼动仪的使用
眼动仪通常有两种使用方式:诊断或互动的方式(Duchowski, 2017)。诊断性使用指的是在整个实验过程中简单地记录眼睛的位置,以确定参与者看向哪里、看了多长时间以及看的顺序。这可以通过人脸、场景、文本、视频、网页或任何其他视觉刺激来实现。大多数时候,研究人员会在这种模式下使用眼动仪。
眼动仪器也可以用于交互场景。“交互”这个词让人想起四肢瘫痪者使用眼球追踪设备来控制光标。虽然研究人员不会经常在纯交互模式下使用眼动仪,但他们可以利用眼动仪的高时空敏感性,设计研究,利用被试的注视位置触发实验范式的预编程反应。通过眼球运动的方式触发显示变化的情况通常被称为注视偶发显示变化。一个简单的例子是,在实验开始时,只有当被试注视于某个目标500毫秒后,屏幕上才会显示出一张图片。通常用于研究目的的更复杂的交互设计是移动窗口技术。在这种模式中,在眼睛当前注视的地方周围会创建一个窗口,这样视线中心以内的物体就可以看到,视线中心以外的物体就会被模糊或改变,从而阻止参与者从周围收集有用的信息。随着眼睛的移动,窗口也随之移动,因此读者在任何时候只能看到一定数量的字母。通过改变这个窗口的大小和测量眼球运动的任何干扰,这种方法已经被用于探索知觉广度,从刺激的区域获得有用的信息。这通常不局限于中央凹,但也可以包括副中央凹,甚至一些外围。类似的方法也可以应用于视觉场景的图片。
眼动仪数据质量通常从准确性和精确性两个方面来描述。当测量的眼睛位置与实际眼睛位置相符时,眼动数据是准确的;如果眼动仪能准确地测量出眼睛位置,则是精确的。这两个术语分别与更广泛的效度和信度概念非常相似。眼动仪制造商提供了关于他们设备的准确和精确的信息。然而,这些值代表了最好的情况,数据的准确度和精密度取决于许多因素,除了正在使用眼动跟踪的类型,还包括眼动仪的设置、实验过程、行为和被试的生理状态等等。在每次追踪眼动时,都会进行一次校准。在这一阶段,实验者对眼动数据的质量有最大的控制,并采取额外的注意以确保校准达到可接受的精度水平,而良好的精度也能为后续的工作带来很大的回报。由于在眼动跟踪期间,数据质量会随着时间的推移而下降,因此在实验中构建多个校准是一个很好的做法。如果某一特定研究需要更高的精确度(因为感兴趣区域较小,或因为该研究是视视线而定的),则应更频繁地进行重新校准。
了解眼动仪的工作原理,可以更容易地确保良好的校准,从而能够收集准确、精确的数据。例如,如果红外光没有足够的数量到达眼睛,眼动仪就不能很好地工作(或在某些情况下根本不能工作)。如果被试戴的眼镜有很高的度数,或者眼镜很脏,或者有有色或防眩涂层,就会识别不到眼动。如果被试离得太远或红外线光源指向错误的方向,也会发生这种情况。由于没有瞳孔很难或不可能对注视点进行估计,使瞳孔难以识别的因素会降低数据质量。这些因素可能包括瞳孔部分闭塞(比如瞌睡的被试)或眼睛周围的其他黑暗区域,如黑色的睫毛(或因化妆而变暗的睫毛),这些区域可能会被相机误认为是瞳孔的一部分。此外,任何产生其他反射的东西,比如眼镜上的眩光或来自外部光源的角膜反射,都会掩盖真正的角膜反射,也会干扰跟踪。如果角膜反射的位置是不可预测的变化,这是由于透气性(硬)隐形眼镜在眼睛中移动,或者是由于双焦或多焦眼镜或隐形眼镜的移动,导致眼动仪追踪不到眼睛。有关影响眼动数据质量的因素的更多信息,见Blignaut和Wium(2014)、Dalrymple等人(2018)、Ehinger等人(2019)、Hessels等人(2015)、Hutton(2019)和Nyström等人(2013)。
3.5 眼动追踪数据
眼动数据的原始形式是一系列样本。每个样本都包含一只或两只眼睛的注视点,以像素表示的屏幕x和y位置。根据所使用的跟踪器和实验设计,还可能包括其他信息。每秒的采样次数取决于采样率。对于某些研究(例如测量瞳孔大小或探索平滑追踪眼球运动),使用这些原始样本数据是必要的,但在大多数情况下,这样做既没有必要也不可取。相反,对原始样本数据进行处理,以识别注视、扫视、眨眼和丢失的数据。在这个过程中,如果一个样本属于一组在空间上相对接近的样本,那么它就会被分配到一个注视点中。如果时间上相邻的样本在空间上的距离更远,说明眼睛在以一定的速度移动,那么这个样本就成为扫视的一部分。商用眼动追踪软件通常会自动完成这一过程。也有许多开放权限的软件包被设计用来处理眼动数据。其中一些是为一般使用而设计的,而另一些则是为特定目的而定制的。每个软件包,无论是商业的还是开放的,都使用不同的算法解析数据,因此清楚地报告使用了什么软件以及参数是如何设置的是很重要的(参见下面的结果部分)。
3.5.1 兴趣区
在许多眼动研究中,研究人员想知道参与者注视刺激物的特定部分(如句子中的特定单词、场景中的物体或脸部的眼睛)的时间或频率。当这是目标时,研究人员应该创建一个兴趣区,包括刺激的一部分(或多个)。大多数眼动追踪软件允许用户预先定义兴趣区。数据收集后,软件进一步处理眼动数据,以提供每个被试与这些感兴趣区的互动情况,包括变量,如首次注视时间、注视时间,注视次数,访问次数,总注视时间等等。定义兴趣区的方式可能会对实验结果产生影响。
3.6 眼动追踪的测量
眼动跟踪可以为分析提供多种不同的相关措施。这使得眼动跟踪成为一种高度灵活的技术,可以应用于许多不同的研究课题和实验任务,但它也会带来一些别的问题。在本节中,我们将描述一些从眼动数据导出的常用测量指标,以及何时使用它们。需要注意的是,并非所有的研究者都以相同的方式标记这些测量方法,所以一定要检查研究中提供的测量方法的定义。还要注意的是,下面的描述广泛适用于许多类型的刺激。在研究阅读时,有几个阅读的具体措施可以使用。
如上所述,注视和扫视是大多数分析的基本数据单位。如果我们比较被试如何观看不同的图像或阅读不同的文本,我们可以将我们的分析集中在注视的持续时间、位置(平均注视时间,注视次数)和扫视(平均扫视振幅)的综合测量。这些措施可以揭示被试如何在整体范围内与刺激因素之间的相互作用。不同研究领域的几个案例可以说明这一点。Brams等人(2019)在对专家眼球运动的元分析中发现,当专家执行视觉扫描任务时,他们的平均注视时间始终高于新手;他们的停顿时间更长。Brams等人将这一现象(结合其他测量方法)解释为,专家花更多的时间专注于刺激的相关部分,而新手则将注意力分散在多个注视位置上。另一个例子是,在阅读任务中,Rayner et al.(2006)观察到,当一篇文章中的单词中字母混乱时,读者平均会产生更长的注视时间,更多的注视次数。注视时间和注视次数的增加反映了一种更慢、更费力的阅读情况,这表明当阅读字母混杂的文本时,大脑加工的努力会增加。在一项对神经性厌食症患者面部情绪识别的研究中,Phillipou等人(2015)观察到,厌食症组在看脸时比对照组注视的扫视时间更长、注视更短。这种行为模式代表了一系列对脸部的简短一瞥,这种策略被称为“超扫描”,这暗示着一种回避心理,有时在临床焦虑人群中也能观察到这种现象。Castelhano等人(2009)观察到,被试在记忆场景中比在该场景中寻找物体时产生更多的注视,但他们的平均注视持续时间和扫视振幅在这两个任务中没有差异。这个模式表明,观看任务会影响被试的注视情况,在搜索中注视较少表明对该场景的探索较少,但是,注视持续时间和扫视幅度不存在显著差异表明,每一时刻解读场景中注视部分的过程在不同任务之间没有太大区别。
如果为一个刺激定义了一个或多个兴趣区,这将引入更多可能的测量指标。这些测量指标可以根据处理的阶段在时间上进行广泛的分类:早期指标或晚期指标。早期的指标深入到处理的初始阶段,包括第一个兴趣区,首次注视潜伏期,以及首次注视时间。例如,在一项研究中要求被试寻找面部变化,研究者(2019)就发现,被试通常首先关注的是眼睛,即使他们事先被告知应该看嘴巴来完成任务。他们将这一结果解释为,在看脸时,眼睛有强烈的注意偏向。首次注视时间通常用于视觉搜索任务。例如,Russell等人(2019)发现,当在现实场景中搜索目标时,自闭症患者比正常对照组有更长的首次注视潜伏期,这表明他们花了更多的时间来寻找搜索目标。
后期的测量指标包括凝视时间(注视某个兴趣区的总时间),在一个兴趣区的注视次数,或者在一个兴趣区内注视的比例。例如,Kellough等人(2008)观察到,抑郁个体在消极图片上停留的时间比在积极图片上停留的时间更长,这表明他们对抑郁中不愉快的刺激存在强烈而稳定的注意偏向。在一项关于共享故事书阅读的研究中,Luke和Asplund(2018)围绕故事书的插图和文本定义了兴趣区。阅读前读者对插图的注视比例比预期的高得多(即,插图占屏幕面积的68%,但得到92%的注视),而对文本的注视比例比预期的低。这表明孩子们在分享故事书阅读过程中可能不会发展印刷意识,因为他们很少看文字。需要注意的是,在分析后期眼动测量指标时,它们通常不是独立于早期测量的;例如凝视时间包括早期指标首次注视时间。
通常,研究将分析多个基于兴趣区的测量指标,以探索注意分配的时间过程。例如,Werthmann等人(2011)使用眼动跟踪来探索超重个体对食物的注意偏向。他们使用了三种测量方法,两种早期(首次注视区域,首次注视持续时间)和一种晚期(凝视时间)。超重被试更可能先看食物图像,他们的首次注视时间更长,但他们在凝视时间中没有表现出对食物图像的偏向。他们认为食物会更容易捕捉超重被试的注意,但并不是让被试的注意力难以转移。Võ and Henderson (2009)观察到,当被试观看场景时,比如厨房的图像,他们的凝视时间更长,对包含意外物体(如打印机)或意外地点的物体(如锅盘旋在炉子上)的区域有更多的关注。然而,首次注视时间并没有显著差异,这表明违背预期的物体吸引了注意力,但不一定能维持注意。
这种早期和晚期测量指标的区别在阅读研究中尤其突出。在阅读过程中,早期的测量指标包括跳读的概率、首次注视时间和凝视时间(第一次看到一个单词时所有注视时间的总和)。后期测量指标包括回视概率、驻留时间(也称为总阅读时间或总阅读时间)和总注视次数等。例如,尼克博克等人(2019)的一项研究发现,充满情感的词汇(如生日、葬礼)比中性词(如读得更快)具有加工优势,但这种优势的时间进程取决于单词的效价(积极或消极)。积极情绪词在跳读率和首次注视时间的早期测量和后期测量中均显示出优势,而消极情绪词在总时间和回视中才显示出优势。这一差异表明,消极词的影响在阅读的时间进程中较晚出现。
4 设计一个有效的眼动研究
当采取措施确保数据质量时,眼动仪可提供高度可靠的数据。虽然可靠性是良好数据的先决条件,但没有有效性,它就毫无用处。确保眼动数据的有效性需要精细的研究设计和适当的分析。设计一个好的眼动实验需要考虑很多因素。在本节中,我们将介绍眼动跟踪新用户面临的两个最常见的挑战:进行适当的比较和选择测量指标。这些考虑在任何实验中都很重要,但与眼动研究尤其相关。
4.1 做适当的比较
众所周知,眼动(人们看的地方,看多长时间)受到多种因素的影响。其中一些是视觉的,包括刺激或其部分的复杂性和显著性。换句话说,视觉上更复杂的刺激会得到更多的注意,而更引人注目的刺激,因为明亮的颜色或大的物体,会引起注意。视觉刺激的质量也很重要;退化、模糊、黑暗或其他更难以看到的刺激将需要更多的观看时间。当然,较大的刺激会比较小的刺激吸引更多的注视。更大的刺激更突出,更容易看到,大概是因为其更重要,需要更多的注视来加工。即使注视点在屏幕上是随机分布的,较大的刺激也会接收到更多的注视点。到那时这种大小效应适用于较长的单词和句子,以及较大的图像和兴趣区。因此,控制视觉刺激的复杂性,显著性,质量和大小以及这些刺激中感兴趣的区域是很重要的。还有很多认知因素也会影响眼动。
不太熟悉的刺激(比如一个不常见的单词或一张你只见过一次的脸)需要更长的时间才能识别。预期之外的刺激也需要更长的注视时间。任何对被试有意义的刺激(比如他们知道的单词,一张人脸,或者一幅房子的图片)都会比毫无意义的刺激(比如一个类似单词的形状,一张混乱的脸,或者一幅抽象画)引起不同的观看模式。即使是在同一张图中,有意义的部分能捕获更多的注意。同样,文字和图像的情感内容也会影响眼动;被试对情绪刺激处理得更快,吸引更多的注意力。即使刺激相同,当被试执行不同的任务时,他们的眼动行为也会有所变化。当人们收到不同的指令时,眼动的位置和持续时间会发生显著变化。
如果两个实验条件下的刺激在这些视觉或认知因素上无意中有所不同,那么在这些不同条件下的眼动也会有所不同,从而造成结果的混淆。例如,Orquin and Holmqvist (2018) 将读者看待条形图的方式与神经图像(大脑图像)进行了比较。对眼动数据分析发现显示条形图吸引了更多的注意。虽然眼动跟踪可以确定哪些刺激得到了更多的关注,但对背后的原因几乎没有探讨。这是因为神经图像和柱状图在各种因素方面有所不同,包括视觉复杂性、显著性、熟悉度和意义。当混杂因素不受控制时,一种表现形式会比另一种获得更多的关注,仅仅是因为它对观众来说更有趣或更新颖。由于解译困难甚至图像大小的差异,它也可以获得更多的注视。没有仔细控制这些混淆的研究留给读者的问题比答案更多。因此,研究者应该对这些因素加以控制。
4.2 测量指标的选择
眼动数据可以衍生出大量的测量方法。例如,由SR Research的DataViewer软件生成的注视报告,描述了研究中每个被试的注视和扫视,可以包括77个不同的变量。包括:注视时间、注视次数、注视位置、扫视速度、扫视持续时间、扫视振幅、扫视潜伏期和扫视方向。当使用兴趣区时,甚至可以使用更多的测量方法,如首次注视的时间、停留时间、在兴趣区内注视的次数以及访问次数。
眼动跟踪所产生的测量指标的丰富性是被广泛使用的原因之一。与此同时,它也提出了一个重大问题。可供选择的潜在因变量如此之多,增加了“捕鱼”(即p-hacking)的诱惑力。这可能是无意的。新生代研究者可能会被诱惑去分析他们的眼动仪所能提供的每一个变量,而没有意识到这样做会显著增加第一类错误的风险。许多眼动指标高度相关,彼此不是独立的,这一事实加剧了这种风险。例如,注视次数与总停留时间呈正相关;一个被试对兴趣区看得越频繁,他花在这个区域上的时间就越多。同样,停留时间与首次注视持续时间相关,因为停留时间包括首次注视持续时间。对于其他变量,如扫视振幅、扫视持续时间和扫视速度,情况也是如此;更大的扫视持续时间更长,移动速度更快。
考虑到潜在变量的数量很大,研究人员在进行研究之前应当选择好他们将分析哪些变量是至关重要的。这样的选择应该是由所问的研究问题来推动的,因为不同的问题适合不同的测量指标。例如,如果研究问题是“面部的哪个部位最先引起注意”,那么对每个兴趣区的首次注视时间的早期测量将是最好的分析变量。另一方面,如果问题是面部的哪个部分最受关注,那么每个兴趣区的停留时间将是一个更好的变量。如果选择多个变量进行分析,它们不应该是冗余的。每个变量可以回答不同的问题不确定应选择哪些变量的研究人员应咨询眼动跟踪专家和参考指南,或以本领域内外的现有研究为指导。如果需要分析多个因变量,就像眼动研究中经常出现的情况一样,即使变量是独立的,也应该对多个比较(如Bonferroni)进行适当的校正。
5眼动研究的报告
当我们报告眼动研究的结果时,需要报告出一些独有的信息。许多眼动研究因为没有报告出足够多的关键信息,导致无法对其进行可重复性验证。在本节,我们将描述一些眼动研究报告撰写时所需要的关键信息。完整的信息清单已经由Fiedler et al. (2019)做出了总结。下面的信息是根据APA格式的论文报告格式来组织的。我们还提供了代码和数据透明度的建议。
5.1 方法
方法部分需要的其他信息将在下面描述,它被分成不同的子部分,通常可以在这些子部分找到。虽然不是所有的论文都把这些信息放在同一部分,但是肯定会包含这些信息。
5.1.1 被试
除了常规的信息外,本部分还应该包含明确的的包含/排除标准的描述。最常见的标准包括要求被试的视力正常或矫正视力,并排除色盲被试等此类相关的话。在有些研究中,一定比例的被试的数据是不可使用的,应被排除在外。这需要报告该百分比,以及排除的理由(即数据排除的质量阈值)。
5.1.2 设备
大多数眼动研究的方法部分包括一个仪器部分。本节将介绍眼动仪的参数设置。下面是本节应该包含的信息列表:
眼动仪的生产厂家和型号(例如,SR Research EyeLink 1000Plus, Tobii Pro Spectrum);
眼动仪的刷新率(例如,120Hz,1000Hz);
眼动仪的准确性和精确度;
是一只眼睛还是两只眼睛。如果只追踪一只眼睛,是哪一只(左眼,右眼,优势眼)?
眼睛跟踪设置是什么(桌面安装,远程跟踪,头戴式)?是否使用了下巴托/头支架?
显示器的生产厂家和型号;
显示器的大小和分辨率;
从眼睛到显示器的观看距离;
刺激的大小。
刺激物在视网膜上的图像大小取决于它的实际大小和它与眼睛的距离。出于这个原因,刺激规模不仅以绝对值来表示(如英寸或像素),也可以以视角表示。想象一个三角形,峰值从眼睛开始,两条腿延伸到刺激物的两侧(刺激物形成了三角形的底部)。视觉角度是这两条腿在眼睛上形成的角度的大小。对于图像(即场景、人脸),应报告其水平和垂直尺寸(如“所有图像大小为30*25°视角”)。还应该报告图像的大小(以像素为单位),以及视角大小。可能这些信息出现在材料描述部分。对于文本刺激,通常需要报告其字母大小(字母所占的视角大小,例如一度视角包含4个单词)、字体、字号等。
所用的刺激呈现和数据采集的软件。
5.1.3 材料
在本节中,应该描述材料的选择和操作。就可能影响眼球运动的视觉和认知因素而言,不同材料的匹配方法是有影响的。材料的绝对尺寸(像素,字体大小)和相对尺寸(视角)分别是多少?屏幕上的不同刺激是如何定位的?创建了哪些兴趣区,它们的绝对大小和相对大小是多少?不同的兴趣区是如何匹配的,在它们的创建过程中还有哪些其他考虑因素。
5.1.4 程序
在本节中,作者应描述校准程序和其他步骤,以确保数据的准确性和精度。有多少个校准点?校准的验收标准是什么(例如,“如果平均误差小于0.30°的视角(对应于大约1个字符)和最大误差小于0.50°,则接受校准”)?多久进行一次校准?
作者还应该描述参与者在实验中的过程。许多眼动研究在实验过程中都有偏移检查;被试必须看屏幕的特定区域才能继续。这个凝视触发点在屏幕上的什么位置?它出现的频率和时间是怎么设置的?校准的诱发机制是怎样的(它是自动的,还是被试或实验者控制的)?在研究期间采取了哪些步骤来确保数据质量?
5.2 结果部分
在报告结果之前,需要对发生的所有数据处理进行描述。最常见的是,眼动跟踪软件会自动将数据分割为注视和扫视。所以应该明确说明使用的软件是什么,并说明识别扫视的标准(例如“注视和扫视被分割成使用EyeLink标准算法的DataViewer使用速度和加速度阈值(30°/s和8000°/s)”)。这些信息通常可以在软件的用户手册中找到。如果使用了其他软件,则应引用该软件并描述细分阈值。此外,任何数据清理,如去除异常注视点和/或扫视或试验/注视点被眨眼打断,都应进行描述和说明,并报告被删除的数据百分比。如果对注视位置进行了任何空间调整(例如,对固定位置进行轻微的垂直调整,以考虑单行阅读研究中的小漂移),也应报告。还应提供被选择分析的因变量列表,以及这种选择的理由。
5.3 提升透明度
眼球追踪研究有时依赖于定制软件或脚本,这些软件或脚本由研究人员修改或完全由研究人员创建,用于实验和数据的处理和分析。在这种情况下,代码和脚本应该是公开的。这样做可以确保报告所有相关信息。如果有可能,数据本身也应该被公开;眼动数据相对于其他类型的数据(如脑电图或MRI数据)更密集,因此非常适合公开共享。与该研究相关的其他文件也应公布,如筛选前信息、试点研究数据、研究人员笔记、与参与者的脚本对话,简而言之,只要不泄露受保护的信息(例如受法律保护的参与者信息、受版权保护的文件),就应该进行公开。以共享数据和文档的OSF页面为例。代码可以在GitHub上上传公开。
6瞳孔测量法
如前所述,现代视频眼动仪通过识别瞳孔来跟踪眼睛。这意味着许多眼动仪也可以有效地用于瞳孔测量。瞳孔测量法是一种记录瞳孔直径变化的技术。瞳孔的大小随着亮度的变化而变化,这种变化的潜伏期约为200毫秒。瞳孔也会随着内部认知/情感过程(如注意力转移、动机、智力努力和认知负荷)而扩大。大多数心理学研究集中在这些认知/情感的扩张上,这比由亮度引起的瞳孔大小变化的幅度小得多。
近些年来,瞳孔测量技术和眼球追踪技术一样越来越受欢迎。瞳孔测量学被用来研究各种各样的话题,包括知觉、发育、语言、情绪、社会支持、注意和走神、脑力和记忆负荷、记忆以及决策。
因为眼动仪可以同时提供瞳孔大小和注视位置,所以在一次实验中收集和检查两组数据对于研究者来说很有诱惑力。但是一般来说,除非是研究需要,否则这是不可取的。当眼睛移动时,估计瞳孔大小的系统误差可能会发生。此外,当眼睛探索一些刺激时,比如图像,瞳孔根据图像不同区域的亮度进行调整。瞳孔大小的这种变化在眼球运动之前就开始了,甚至可以在不涉及眼球运动的隐蔽注意力转移时发生。这意味着眼球运动会在瞳孔测量数据中引入噪声,这些噪声很容易掩盖由认知或情感因素引起的瞳孔大小的微小变化。许多眼动跟踪研究中使用的更复杂的视觉刺激是不相同的,即使眼睛不运动,也会给瞳孔测量数据带来显著的变化。出于这些原因,建议想要使用眼动仪作为瞳孔测量仪的研究人员指导被试盯在屏幕中央。听觉刺激是瞳孔测量研究的理想选择,因为视觉输入是不变的,但是如果视觉刺激是简单的,足够小到适合中央凹视觉,并且在刺激内部和外部具有一致的亮度,则可以使用视觉刺激。
当报告瞳孔测量结果时,应提供与其他眼动仪研究相同的眼动仪设备和设置信息(见方法部分)。此外,还应提供有关如何控制亮度水平的信息。描述不同的刺激是如何匹配亮度的是至关重要的,特别是在不同的条件下,因为任何条件下的亮度差异都是影响结果的混淆因素。还应报告进行研究的房间的亮度水平,以及为所有被试为保持这些水平不变而采取的措施。
可靠的瞳孔测量数据也可以使用便宜的眼动仪进行记录。由于瞳孔测量需要处理单个样本,而不是集中的注视和扫视数据,通常高采样率的眼动仪提供了大量的数据,在分析瞳孔测量数据时需要强大的计算能力。因此使用采样率较低的眼动仪就能满足计算要求。在分析瞳孔测量数据时,也有一些独特的考虑。例如,瞳孔测量数据通常需要基线校正,其中瞳孔大小表示为与某些实验前基线值的差异。瞳孔测量数据在分析之前也需要大量清理,但幸运的是,一些研究人员已经为此目的提供了开源脚本。
7 与EEG或者fMRI相结合的眼动研究
眼动跟踪作为一种独立的研究方法被广泛使用。与其他技术相结合,眼动跟踪可以成为更强大的研究工具。大多数技术可以与眼球追踪技术无缝融合。在过去的几年里,研究人员一直致力于将眼动仪与EEG或者fMRI相结合。
7.1 EEG与眼动
眼球追踪反映了一个人的视觉注意集中在哪里,而EEG则记录了神经系统对该信息的反应。因此,将这两种技术结合在一起,可以提供比单独任何一种技术所能提供的更完整的图景。此外,允许被试自由移动他们的眼睛增加了脑电图研究的生态有效性。但是,在自由观看刺激时将眼动跟踪与脑电图相结合,在技术和分析方面存在重大挑战。首先就是会产生大量与眼动相关的伪影。其次是连续注视引起的大脑反应显著(且不同)重叠。
近年来,研究者在这些问题上已经取得了一些进展。他们使用注视窗口时间锁定的电位(注视相关电位,FRPs)来考察各种课题,例如视觉搜索、面孔加工、阅读、变化检测和记忆、自然浏览,以及艺术的审美判断。也有一些眼动和脑电图数据联合分析的开源代码是可以使用的。
7.2 fMRI与眼动
眼动跟踪技术也可以与fMRI相结合。与EEG的结合一样,将眼动跟踪和fMRI结合在技术上也是互补的。眼球追踪提供了正在看的东西的记录,而fMRI记录了大脑对视觉信息的反应。此外,眼动跟踪的加入可以为fMRI研究增加显著的生态效度。不过在某些方面,眼动追踪和fMRI的结合不像和脑电图那样明显。虽然眼动跟踪和脑电图都是对时间高度敏感的测量方法,但fMRI远远落后于两者。当眼动跟踪和fMRI相结合时,这种时间敏感性的不匹配确实带来了一些分析上的挑战。另一方面,允许被试自由观看刺激对fMRI数据的干扰要比对EEG数据的干扰小得多。
在该技术中,单独的注视事件被视为事件,并分析与这些注视事件相关的BOLD激活。这一技术也被运用于阅读、场景加工等方面的研究中,研究人员正开始将这项技术应用于其他领域。
8 结论
眼动跟踪是一个强大的工具,可以应用于许多不同学科的各种各样的研究问题。技术进步使得眼动跟踪对许多研究人员来说更实惠、更容易获得。随着可访问性的增加,不正确使用的风险也随之增加。本文对眼动跟踪在研究中的应用进行了简要的概述。本文描述了相关的眼解剖和眼动技术的基础知识,并对构建有效的、可重复的研究并完整报告它们提出了建议。为有兴趣了解更多有关眼动的研究人员提供了其他眼动指南的参考资料和许多不同的研究和评论。
眼动研究的激增是一个积极的发展,将促进许多学科的重大科学突破。但就像其他技术或方法一样,只有谨慎正确地使用眼动仪,才能够科学揭示科学问题。