中国人工智能学会通讯——基于图像认知的心理测评方法及系统

摘要：长久以来心理障碍的诊断和评估通常都是建立在晤谈、观察、量表测验的基础上，交互繁琐困难，主观性比较大，使得人的心理特征难以快速获取和量化。本研究创新性地将心理学和信息科学结合在一起，建立了情绪图像库，通过考察前景人脸和背景情绪图像的不同交互效应，收集反应时、眼动轨迹等生理特征，结合机器学习算法的数据分析，提出了一种全新的基于图像认知，以及人的生理特征的客观、便捷地提取人的心理特征的方法。

关键词：图像认知；心理测评；情绪图像库；反应时；眼动轨迹；机器学习

图像心理学测试系统

随着社会压力的增大，越来越多的人开始或多或少地受到心理问题的困扰。心理障碍会直接影响人们正常的生活、行为，甚至直接或间接地导致犯罪、自杀，以及其他一些危害社会治安的行为。掌握人群的心理特征，准确判断心理障碍，不仅能够帮助受到心理障碍困扰的人群，同时也可以帮助预警危险人群的非理性活动，对于医学以及社会公共安全都有非常重要的意义。

就目前来看，心理障碍和心理疾病的诊断和评估主要依赖于心理医生的临床诊断。这些临床诊断一般基于会诊、观察、晤谈等方法，同时以心理学量表测试作为辅助判断的依据。这些诊断方法很大程度上依赖于医生的临床经验和接受诊治人群的主观配合意愿，医生获取心理特征的时间较长，同时也没有一个标准的量化评价体系，对于心理医生的经验要求较高。如果能找到一种自动提取和量化心理特征的方法，使得心理特征能够在不受到或仅受到少量人为干预的情况下被实时有效提取，并且能以定量的形式进行描述，可以被计算机自动分析并给出心理状态评价结果，则可以有效地解决上述在心理诊断中遇到的困难，同时可以帮助解决目前由其他物理生物特征无法解决的行为偏向预测问题，对计算机认知学科的发展也有一定的帮助。

心理学学科长期以来的对注意偏向的研究结果已经指出，心理障碍患者与正常人在注意偏向上有所差异[1-4]。这种注意偏向的差异尤其体现在对负性情绪的认知上。而在众多注意偏向研究所使用的情绪刺激材料中，情绪图像作为一种视觉刺激，对其的认知并不受到文化差异和年龄层次的限制，具有一定的优势。由此，我们设计了基于图像认知与行为反应时实验的图像心理学测试系统。该系统通过捕捉行为反应时实验中受试者在受到情绪图像刺激后的眼动轨迹和键盘反应时间等量化数据，来分析和评估受试者的心理状态。其应用场景示例如图1所示。

本研究的主要研究内容包括：①基于明尼苏达多项人格量表，研究心理学语义与图像间的映射关系，构建心理图像库，并对图像的正负属性进行打分，作为心理特征提取与分析的测试素材。②基于图像的PA D三维情绪维度，研究符合人的认知过程的图像情绪属性表达模型，建立了国际通用的图像PA D三维情感属性到图像综合语义的回归模型。③以注意偏向反应时实验范式为基础，研究基于图像的心理特征提取与分析方法。基于正性、负性情绪人脸图像和主题场景图像，设计以反应时为核心的启动、竞争等实验范式，量化提取焦虑及抑郁等心理障碍者的注意偏向特征。④根据反应时等参数对人的心理健康状况和行为偏向进行计算机自动分析，对不同心理状态人群在不同前景人脸、背景图像组合刺激下的心理特征参数进行差异分析，利用模式分类器对不同心理状态人群的反应时进行分类。⑤研究具有量化分析心理特征能力的心理健康状态分析系统。设计计算机软件实现心理图像的载入、实验范式的呈现、反应时等特征的提取和心理健康状况的分类，以及结果的输出。

心理学语义与图像之间的映射关系

本研究对心理学语义的情绪图像表达方法展开研究，突破了从语言文字到情绪图像的语义鸿沟。研究选择明尼苏达多相人格测查表（MMPI）作为心理学语义的来源[5]，基于该量表设计和提出了心理测试量表到图像心理测试系统的转换关系，并在此基础上建立了心理学语义和情绪图像之间的映射关系[6]。

为了确保该映射关系的可靠性，本研究提出了通过交互系统对情绪图像表达的心理学语义进行反馈的方法，并根据该方法对表达心理学语义的情绪图像进行过滤。之后，在心理学语义到情绪图像的映射关系的基础上，在国际上首次建立了通用的心理图像库[7-9]。该图像库根据图像内容的心理学基础对图像进行分类和组织，并经过情绪刺激属性评估，是具有心理学意义的全新的情绪图像库系统，对于图像认知研究、心理学研究等都具有重要的价值。具体的一个示例见图2。

MMPI作为一种人格测查量表，可以认为是一个通过分析被试对MMPI问题的响应结果给出被试心理状态描述的系统。对于情绪图像而言，要发挥像MMPI一样的作用，能够对心理状态进行评估，则需要通过让被试观看一系列具有心理学语义的情绪图像，并对被试在受到心理学语义情绪图像刺激下的行为反应时间进行统计分析，最终对被试的心理状态给出评估。

由于MMPI条目中实际包含了与心理状态有关的心理学语义元素，以及被试对该心理学语义元素可能的态度两个部分，而在以情绪图像为基础的心理学实验中，通过反应时间的捕捉已经可以从一定程度上反映被试对情绪图像的情感态度，因此，情绪图像的内容需要与从MMPI条目中，抽取的心理学语义元素相对应。

由于不同的人对于同一个心理学语义的理解可能会有所不同，因而从心理学语义出发进行图像检索得到情绪图像集合，实际上未必能够让所有人都能按照其对应的心理学语义进行理解，即图像内容可能存在歧义。为了尽可能地保障情绪图像与心理学语义之间的对应关系，我们设计了情绪图像的心理学语义反馈系统，对这些根据心理学语义选择的情绪图像进行反向验证；即从情绪图像出发，通过交互系统收集对这些情绪图像的语义反馈，判断情绪图像是否确实达到了表达其对应的心理学语义的效果。

我们将MMPI中文版中的550个没有重复的问题分成了25个基础类别。之后，对这25个基础类别进行整合，最终将这25个基础类别进一步划分成了具有不同心理基础的8个大类。于是就得到了心理图像库的包含3个不同级别的树形索引目录结构。其中，第一级目录包含8个大类，每个类别有各自的心理学基础；第二级目录包含25个分类，每个类别包含从涉及同一内容的MMPI量表条目中提取的心理学语义元素；第三级目录详细列出了每个不同的心理学语义元素，这些心理学语义元素直接或间接与情绪图像的内容或情感相对应。

目前，心理图像库ThuPIS共包含一级分类8类、二级（基础）分类25类、三级（心理学语义）分类199类。在这些类别下，共有经过心理学语义反馈验证的可用图像856幅。

图像综合语义回归模型

在图像心理学领域中，图像的PA D三维情感属性——愉悦度（Pleasure）、唤醒度（Arousal）和优势度（Dominance）[11]，以及图像综合语义的正中负属性——都是描述图像情感属性的手段。图像的综合语义广泛应用于研究抑郁焦虑人群和正常人群，在经典实验范式下认知差异性的行为学实验中。但是，综合的准确定义，以及图像三维情感属性与其之间的关系却缺少相关的研究。

本研究针对心理状态提出了具有图像高级综合语义的“正、中、负”属性，并建立了国际通用的图像PA D三维情感属性到图像综合语义的回归模型，实现了图像综合语义与图像PA D三维情感属性之间的映射，从而使所提出的综合属性也能应用到其他图像库中。

通过分析及图3我们看到，PA D模型中的愉悦度、唤醒度和优势度三个维度之间存在密切的联系。由于愉悦度和唤醒度之间存在显著的二次曲线关系，愉悦度和优势度之间存在显著的线性关系，因而从一定程度上说，只要得到情绪图像的愉悦度分值，就可以推测出其他两个维度的情绪分值。同时，只在一个维度上对图像的情感属性进行打分，可以大大减少情绪评价的工作量。因此，在研究中我们采用了仅对情绪图像在愉悦度这一维度上进行打分。由于PA D模型中，愉悦度这一维度主要用于描述图像情感态度的正负特性，因此可以根据这一打分结果将图像的情绪刺激属性划分成正、中、负性。

图像心理学实验范式

图像认知反应时间和过程的采集是本研究中心理特征提取和心理状态评估的基础。我们以近年来图像认知领域几个经典的键盘行为学实验范式为指导，利用前景情绪人脸和背景情绪图片的关系，结合抑郁、焦虑人群在经典行为学实验范式中与正常人群的认知差异性，设计了多个基于图像认知的行为学实验，并据此采集了正常、异常心理状态人群的反应时间。

本研究创新性地设计了一组自然图像与人脸图像的正、负属性语义竞争、启动及关联实验范式，利用键盘、眼动获取反应时等心理特征参数。

（1）启动实验范式。借鉴了经典的情绪启动（Priming）范式的思想[14]，实验开始后，屏幕上先呈现情绪图像，待被试被情绪图像的情绪唤起以后，图像消失，并在屏幕中间出现情绪与背景相同或相反的情绪人脸，受试者判断情绪人脸属性并按键反应。由于情绪背景和情绪人脸均分成正性和负性两种属性，因而背景和情绪人脸之间共有4 种不同的组合形式（之后的几个实验也是如此）。启动实验的流程示例见图4，其他实验类似。

（2）竞争实验范式。借鉴了经典的Stroop（干扰抑制）范式的思想[15]，主要考察情绪背景和情绪人脸之间的竞争效应。实验中，背景图片与人脸同时出现，其中人脸出现在背景图片的正中间，受试者需要对情绪人脸的表情属性进行判别。

（3）竞争启动实验范式。结合了竞争效应和情绪启动效应，主要考察个体在对背景情绪场景已经有一定预先了解之后的注意转移和情绪认知过程。在本实验中，首先出现的是单纯的情绪背景图片，并且时间足够让受试者对图片产生完整认知；此后，情绪人脸再出现在背景图片的正中央。与前两个实验相同，受试者需要对情绪人脸的正负属性进行判别并按键反应。

（4）情绪图像间的竞争实验范式。借鉴了经典的点探测范式，实验中，情绪图像以两个图像一组的配对形式出现，每组包括一幅正性情绪图像和一幅负性情绪图像。配对情绪图像消失以后，在其中一个图像的位置出现一个圆点作为靶刺激。受试者需要对靶刺激出现的位置进行按键反应。

（5）情绪图像间竞争综合启动实验范式。结合了情绪图像启动效应和情绪图像之间的竞争效应，考察被试在两种效应同时存在的情况下的注意偏向。实验中，屏幕上首先以组合形式出现一对情绪属性相反的图像（与实验四中相同），之后图像消失，并随机在某一个情绪图像出现的位置出现一个情绪人脸。被试需要对情绪人脸的属性进行判断并按键反应。

在键盘实验中，被试的心理特征是通过被试按下键盘的时间获取的。然而，由于个体差异，不同人的反应时间有所差异，使得获取到的反应时间包含了被试按键的时间，对反应时间的准确获取造成了一定的干扰。本研究基于以上考虑，创新性地提出将眼动跟踪技术与传统键盘实验结合的方法，通过捕获实验过程中被试眼球的运动轨迹，获取被试的注意倾向，以及相应的反应时。这种获取方式比键盘实验更加直接，并且不需要被试与设备接触，相对来说更加友好、易用。

不同人群的认知辨识度差异分析

目前，本研究已经在医院、学校心理咨询中心采集了大量的样本，通过以上设计的实验，分析得到了不同人群的认知辨识度差异。我们可以得出结论，对反应时特征而言，当背景先作为启动物后作为干扰物时，抑郁人群和焦虑人群在任意前景人脸、背景图像组合下的键盘反应时间都比正常人群慢，可以认为此时心理障碍人群的认知速度比正常人群慢；同时，三类人群自身在不同前景、背景组合下认知差异性的表现形式不尽相同，但如果只考虑差异性数目时，可以认为，此时正常人群的认知区分度最好、焦虑人群次之、抑郁人群最差；对眼动特征而言，在不同认知环境下认知障碍人群的平均眼动轨迹长于正常人群，注视点分布更加分散。

不同人群认知差异性的研究为本研究心理状态的提取和分类奠定了基础，并提供了理论指导。我们利用统计学软件SPSS ，对不同心理状态人群在不同前景人脸、背景图像组合刺激下的认知差异性进行分析。首先，对所参考的已往实验结论进行了重现，证明了本实验设计的合理性；然后对每个实验，又从主效应及交互作用、主体间差异性和主体内差异性三个方面进行了深入的分析，为心理状态特征的描绘提供参考。图5展示了竞争启动实验中，反应时数据的部分统计分析结果。

对于每组实验，选择被试在前景、背景正负属性不同的四种组合下的平均反应时间作为特征向量，利用SVM 等经典机器学习算法，产生模式分类器对其进行分类。我们之前的研究表明，抑郁、焦虑人群与正常人群差异性显著，抑郁和焦虑人群之间无显著差异性，为了简化分类问题，同时考虑到焦虑症和抑郁症在很多情况下都属于并发症这一事实，我们的分类器的分类对象只有异常人群和正常人群两类。

在此基础上，2013—2016年我们在清华大学心理咨询中心、清华大学校医院、清华大学第一附属医院、北医六院、安定医院、回龙观医院对约600名正常人群和约 200名抑郁、焦虑病人进行了测试，有效召回率达到了80%以上，证明了方法的有效性。

基于图像认知的心理测评系统

我们首次在国际上搭建了一套基于图像认知的心理状态分析系统，为基于图像认知的心理特征提取研究提供了一套有心理学基础的能够有效进行情绪唤起的自然图像系统。

该测评系统在清华大学心理咨询中心、清华大学校医院、清华大学第一附属医院、北医六院、安定医院、回龙观医院分别对正常人群和抑郁、焦虑病人进行了测试，并在北京图象图形学学会、北京东城区心理咨询师职业技能培训学校进行了应用。

本系统受到北京市政府的高度关注，分别于2013 年和2014 年获批北京市政府购买社会组织服务项目：《心理状态评估系统》、《基于心理状态自动获取的危险人群的早期发现与预警系统》，并在清华大学心理咨询中心试用3年。

结束语

本文从不同人群对于情绪图像认知的差异性出发，建立了一个基于图像与语义映射关系的心理图像库，探索了图像综合语义与三维情感属性之间的回归关系，参考经典心理学实验范式设计了5种不同的科技前沿48结合了眼动与反应时生理特征的实验范式，结合这些生理特征对不同人群的认知差异性进行了分析，并最终搭建了一套基于图像认知的心理状态分析系统。在这之中，图像库的进一步完善及拓展，将量表语义延伸到其他心理学测评量表，设计新的实验范式，增加样本的数据规模等都是值得进一步探索的研究方向。