Baghdadi A, Aribi Y, Fourati R, et al. Psychological stimulation for anxious states detection based on EEG-related features[J]. Journal of Ambient Intelligence and Humanized Computing, 2021, 12: 8519-8533.
摘要
焦虑不仅影响人类的能力和行为,还影响生产力和生活质量。它被认为是导致抑郁和自杀的主要原因。焦虑状态可以通过专家凭借其专业知识和技术来检测。有必要开发一种非侵入性的可靠技术来完成复杂的焦虑检测任务。在我们的研究中,我们调查了不同参数的影响,特别是:试验持续时间、特征类型、特征组合以及焦虑等级数量。本系统使用我们自己建立的数据库进行评估,该数据库包含了23名参与者在接受面对面心理刺激时记录的脑电图(EEG)信号。EEG信号是使用Emotiv Epoc耳机这种成本效益高的无线可穿戴设备捕捉的。研究中使用了两种标记方法,并相应地呈现了结果。我们的研究发现,焦虑在1秒内就能被很好地引发。对于基于自我评估量表(SAM)的检测,结合不同类型的特征使用堆叠稀疏自动编码器(SSAE)分别实现了83.50%和74.60%的准确率,用于检测两个和四个焦虑等级。使用基于汉密尔顿的方法,结果得到了改进。我们在四个焦虑等级的检测中使用SSAE达到了86.7%的准确率。所展示的结果证明了使用低成本EEG耳机而非非无线医疗设备的优势,并为焦虑检测领域的新研究奠定了基础。
关键词
脑电图 · 压力和焦虑检测 · 心理刺激 · 特征提取 · 特征选择
1.引言
焦虑是一种心理健康问题,对我们的身体产生着物理上的影响。 焦虑能够影响免疫系统,并且不幸的是,有证据表明过多的焦虑实际上会显著削弱免疫系统(Felman 2018)。焦虑本质上是一种长期的压力,这种压力会导致体内大量释放应激激素,这与身体机能下降有关。这种看不见的残疾可能会极大地影响学业表现。焦虑影响记忆能力,导致学习和重新获取信息的困难。
根据美国焦虑症协会(ADAA 2018)的报告,每八个孩子中就有一个患有焦虑症。 尽管如此,它仍然带来学业表现差、学习能力减弱和学校中的社交/行为问题的风险。由于儿童的焦虑症难以识别,因此学会如何在早期阶段检测它们以帮助儿童是一项迫切的任务。焦虑可能会通过增加僵硬度、反应过度和情绪强度等症状显现出来。
此外,有效的焦虑和压力管理可以帮助你在生活中平衡压力,同时保持高效率并享受生活。 目标是在工作、人际关系和个人意识之间找到和谐,并学会如何处理焦虑状态以面对挑战。然而,焦虑管理并不是适用于所有人的统一方案,所以我们需要检测焦虑何时出现,它如何在我们的身体中表现,以及我们的神经系统如何对这种情况作出反应。
焦虑检测是情感识别的一个基本组成部分。 另一个可以从情感识别进步中大大受益的领域是视频游戏产业。治疗环境的新趋势为患有严重精神障碍的患者康复实施情感检测算法。生物反馈系统可以帮助儿童、青少年和成人控制和管理他们的焦虑水平,并帮助应对现实生活中的挑战。
本文分为七个部分。 在第2节中,我们概述了使用EEG信号进行焦虑检测的研究成果。在第3节中,我们详细介绍了实现的实验协议以及收集数据的变异性与一致性分析。第4节介绍了数据记录和预处理步骤以及所提议系统的总体架构。第5节介绍了一系列特征。第6节对获得的结果进行了分析和讨论。最后,最后一节总结了本文并概述了未来的工作。
2.文献综述
基于生物识别技术,许多研究已经开展,用于识别个人的身份、精神和身体健康(Aribi等人,2012,2013a,b,c,2014,2015)。与情绪识别(Baghdadi等人,2016)相比,基于EEG信号分析进行焦虑/压力检测的研究较少。大多数基于EEG的情绪识别研究,如Fourati等人(2017,2020),都使用了DEAP数据集(Koelstra等人,2012)进行验证。Giannakakis等人(2015)从DEAP数据集中提取了两个子数据集,用于定义两种情绪状态:压力和平静。目的是定义效价和唤醒度的阈值,并仅提取符合这些条件的试验。这一步骤导致了一个包含18个受试者的子集,符合适当的标准。研究者提取了频谱、时间和非线性EEG特征来代表研究的状态。另一方面,一些研究人员选择进行合适的实验来收集他们自己的EEG信号。Vanitha和Krishnan(2016)研究了学生的压力水平,并定义了自己的实验协议,在引起压力的过程中记录EEG信号。随后,数据经过预处理以去除噪声和眼动伪影。通过时频分析提取特征,并通过分层支持向量机进行分类,准确率达到89.07%。为了探讨实时问题,Prashant Lahane(2016)提出了一种基于EEG的压力检测系统。他们使用安卓应用程序来收集EEG数据。作为特征,计算了每个频带的相对能量比(RER)。
Lim和Chia(2015)提出了一个使用单一通道EEG信号的压力检测系统,记录了来自Sunway大学的25名学生的数据。使用NeuroSky Mindwave耳机收集数据并存储以供进一步分析。通过Stroop颜色单词测试诱导学生压力,测试前有30秒的单屏指示阅读。根据对受试者的访谈得知,指示阅读是实验中最紧张的部分,因此只对记录数据的前30秒进行了预处理和处理以进行压力分类。结果显示,k-NN(72%)在分类压力方面优于LDA(60%)和ANN(44%)。
Khosrowabadi等人(2011)认为考试期间对学生来说是最紧张的时候。基于这一点,他们在考试期间和之后进行了实验。从26名学生(15人在考试期间,11人在两周后)那里收集了EEG信号。数据经过椭圆带通滤波(2-32 Hz)预处理以去除噪声。本工作中研究了三种不同的特征:Higuchi的分形维数(HFD)、EEG光谱图的高斯混合模型以及幅度平方相干估计(MSCE)。分类步骤使用k-NN和SVM分类器处理。结果表明,MSCE在分类慢性精神压力方面表现出高达90%的最佳精度。
根据表1,大多数先前的工作依赖于国际IAPS、IADS数据库(Oude 2007)中的视听刺激。而其他人则使用算术任务,正如Jun和Smitha(2016)所实践的那样,任务难度增加时压力水平应该增加。最近,Arsalan等人(2019)使用公共演讲测试作为压力刺激。通过公共演讲前后感知压力量表(PSS)评价压力水平。使用muse耳机记录EEG信号,并根据每位参与者收集的PSS分数进行标注。提出了一种基于EEG频率带分类准确性的新特征选择方法。这项工作在二分类任务中达到了89.30%的准确率,但在三类压力水平分类中准确率降至60.91%。
在我们的工作中,我们将保留“焦虑”这一术语,并按照治疗师的建议呈现其水平。我们将使用K最近邻、支持向量机和支持向量机堆叠稀疏自动编码器进行分类步骤。
在此背景下,我们提出一个新的EEG信号数据库用于焦虑水平检测的挑战。我们工作的创新之处不仅在于为情感计算社区提供公开的EEG数据,而且还在于设计了一种心理学刺激协议,通过与治疗师面对面互动和使用较少通道的无线EEG帽(只有14个干电极)为参与者提供舒适的条件。
3.心理学实验设计
3.1实验协议
我们定义了一个符合需求的实验协议。在与一位心理治疗师讨论后,她推荐使用暴露疗法。暴露疗法是一种广为人知的认知行为疗法(CBT)的形式。暴露疗法涉及开始处理那些引发焦虑的项目和情境(Gackiere 和 Graziani 2007)。有多种形式的暴露疗法,例如想象暴露、虚拟现实暴露和现场暴露。在我们的实验协议中,我们使用了现场暴露疗法中的“洪水法”(Flooding)(Eftekhari 等人 2006),实际暴露于恐惧刺激。患者会被置于含有引发原始创伤的刺激的情境中。鉴于我们的实验条件,我们选择了洪水法,因为它快速且通常有效。
固定的协议如下:
每位参与者在开始实验前需要签署同意书。根据汉密尔顿焦虑量表(HAM-A)在刺激前计算焦虑水平,以测量参与者焦虑的严重程度。该工具包含14个项目,每个项目包含可在零到四的范围内评分的症状。
汉密尔顿焦虑量表是一种多点调查,允许心理学家全面了解与焦虑状态相关的身体指标。这就是为什么本研究中的所有参与者都被要求在焦虑刺激前后回答这份问卷。为了确保焦虑得到良好的刺激,我们在实验开始时计算汉密尔顿评分,以检查参与者当前的状态(有些参与者已经在与焦虑相关的常规状态下,但他们的分数在实验后上升;而另一些人开始时焦虑水平较低,在实验后升至较高水平)。广泛用于焦虑检测的汉密尔顿测试,通过其广泛的项目种类可以检测焦虑水平,并能处理人们的反应差异。
心理因素包括焦虑情绪、紧张、恐惧、失眠、认知功能、抑郁情绪和访谈中的行为项目,而躯体因素则包括躯体肌肉、躯体感觉、心血管、呼吸、胃肠道、生殖泌尿和自主神经项目(Beck 和 Steer 1991)。
我们的心理治疗师询问参与者每种症状的严重程度及其评分,其中四为最严重。这些数据用于计算一个总分,以指示一个人的焦虑严重程度。之后,参与者准备开始实验,闭上眼睛并尽量减少动作和言语。心理治疗师开始朗读第一个情境,并帮助受试者想象它。这个阶段分为两部分:心理治疗师朗读最初的15秒,然后受试者回忆接下来的15秒。
时间结束后,受试者被要求使用自我评估量表(SAM)评估他们在刺激过程中的感受。SAM量表是情感计算领域中最常用的参与者评级之一。例如,它用于情绪识别(Katsigiannis 和 Ramzan 2018;Koelstra 等人 2012;Shukla 等人 2019),焦虑检测(Giannakakis 等人 2015;Murdoch 等人 2019),以及游戏评估(Xie 等人 2020;Hvass 等人 2017)。它有两个行来评分:效价从负面到正面,唤醒度从平静到兴奋。每行包含九个评分项。为了评估当前情绪,每位志愿者必须勾选适合情绪的两个维度(唤醒度,效价)的项目。这一试验重复直到第六个情境。实验结束时,心理治疗师重新评估汉密尔顿量表中的某些项目,以调整参与者的焦虑水平。刺激的所有步骤均在图1中呈现。
3.2刺激选择程序
在我们的研究中,我们将焦虑视为一种暂时的状态。因此,我们选择了健康的参与者,并使用了现实生活情境的叙述来激发他们的焦虑感。
焦虑主要由三个因素引起,即外部因素、内部因素和人际因素。表2显示了焦虑类别及其来自现实生活情境的刺激。为了选择出具有最高焦虑水平的情境,我们进行了一项调查,并向所有愿意参与我们实验的志愿者发放了问卷。根据所进行的调查,我们选择了6种参与者经历最高焦虑水平的情况,具体如下:失去(68%),家庭问题(64%),财务问题(54%),截止日期(46%),目睹致命事故(45%)和虐待(40%)。
3.3数据获取
3.3.1参与者
实验是在23位健康个体身上进行的,这些个体没有心理疾病。参与者中有13位女性和10位男性,平均年龄为30岁。实验目的在开始前向每位参与者清晰地解释。汉密尔顿测试的项目被突出显示,以避免对每个问题产生误解。实验在一个隔离的环境中进行,以避免分散注意力的噪音,并保证参与者能够完全集中注意力。焦虑刺激是通过由我们的心理治疗师以专业方式面对面进行的心理诱导来完成的。
3.3.2采集设置
EEG信号使用一款无线EEG头戴设备记录,即Emotiv EPOC,该设备拥有14个通道和2个乳突电极(Ekanayake 2010),放置遵循国际10-20系统。电极被附着在头皮上的位置分别为AF3、F7、F3、FC5、T7、P7、O1、O2、P8、T8、FC6、F4、F8和AF4。
考虑到Emotiv Epoc神经头戴设备易于使用的特点,本研究中采用了该设备。它为用户提供了舒适性,并且由于它是无线设备,不像临床EEG材料那样需要复杂的设置。此外,当用于情绪识别系统时,它表现出了效率,这一点已经被Jatupaiboon等人(2013)、Anh等人(2012)、Coan和Allen(2003)以及最近的Katsigiannis和Ramzan(2018)、Benitez等人(2016)所证明。
记录是通过Emotiv Epoc软件进行的,用于原始EEG数据的记录。该软件允许我们查看和保存所有通道的数据,或者仅定制我们需要的通道。产生的原始数据文件扩展名为“.Edf”,可以使用Matlab脚本转换为“.mat”格式以便进一步处理。记录从执行第一个情境之前开始,在完成第六个情境后结束。每次记录持续6分钟,如图1所示,分成每分钟一段。获取的EEG信号以128 Hz的采样率进行处理,并保持阻抗尽可能低,不超过7 kΩ。
3.3.3EEG信号预处理
在生物医学信号处理中,确定所获取信号中的噪声和伪影是必要的,这样可以在特征提取阶段使用干净的信号并取得良好的分类结果。生理伪影是由不同于大脑的来源产生的,例如低于4 Hz的脑电图(EOG)伪影、超过30 Hz的肌电图(EMG)伪影,以及约1.2 Hz的心率(心电图:ECG)。它们也可能与人体无关,处于50 Hz范围内。这可能是由环境或与EEG采集参数有关的因素引起的(Oude 2007;McEvoy 等人 2015)。
为了去噪我们的信号集,我们应用了一个EEGLab脚本,用于切割相关的EEG信号子带、去除基线并消除眼动和肌肉伪影。对原始数据应用了一个4-45 Hz的有限脉冲响应(FIR)带通滤波器。使用了EEGLAB工具箱中的自动伪迹去除工具(Delorme 和 Makeig 2004)(AAR)来去除EOG和EMG伪影。
该工具箱实现了几种去除EMG和EOG伪影的算法。我们使用了盲源分离CCA(BSSCCA)的实现,该方法将观察到的EEG数据投影到最大自相关成分(De Clercq 等人 2006)。我们选择了标准emg_psd,该标准考虑那些在典型的EEG和EMG频带内平均功率比低于某一阈值的成分作为EMG相关。为了估计EEG和EMG频带内的功率,默认使用的估计器是一个Hamming窗的Welch周期图,其段长度等于分析窗口长度。
默认情况下,工具箱使用iWASOBI的组合,这是一种对于自回归(AR)源渐近最优的盲源分离(BSS)算法(Tichavskỳ 等人 2006),以及标准eog_fd自动校正EEG中的EOG伪影。eog_fd标记那些具有较小分形维度的成分为伪影。理论上,分形维度低的成分是由少数低频成分组成的。这通常是眼动活动的情况,因此它是检测眼动(EOG)成分的合适标准。
3.4数据标签
3.4.1自我评估量表(Self-Assessment Manikin, SAM)
如前所述,实验持续约6分钟,分为6种不同的场景。我们只关注每个试验的前30秒。在这一步骤中,移除了15秒的SAM。因此,每位参与者有6次30秒的试验。如实验协议所示,在每次30秒的刺激后,参与者被要求填写SAM问卷,用兴奋度(唤醒度)和感觉(效价)来表达他们在刺激期间的情绪。
我们应用了一个Matlab脚本来基于阈值对所有试验进行标签。效价值小于5且唤醒度大于5的试验被标记为正常。严重焦虑的效价值和唤醒度应在区间[0-2]和[7-9]之内。效价值在2到4之间,唤醒度在6到7之间的试验被标记为中度焦虑。轻度焦虑接近坐标系中心,效价值和唤醒度分在区间[4-5]和[5-6]之内。
通过应用这一标签步骤,我们得到:156次‘正常’试验,90次‘严重’试验,10次‘中度’试验和20次‘轻度’试验。为了增加每位参与者的样本数量,我们借鉴了前人的工作(Zheng等人,2017),构建了两个附加子数据集,分别是5秒和1秒的试验样本从主EEG信号中抽取。分割后,我们在每个子数据集中获得了更多的试验。5秒分割的结果是:468次‘正常’,270次‘严重’,30次‘中度’,以及60次‘轻度’。1秒子数据集包含2340次‘正常’,1350次‘严重’,150次‘中度’,以及300次‘轻度’试验。
3.4.2汉密尔顿焦虑量表(Hamilton Anxiety Test)
汉密尔顿焦虑量表的得分是在整个实验之前和之后计算的。实施的Matlab脚本用于基于HAM的标签遵循测试的基本原则。HAM得分≤12的试验被标记为正常焦虑。如果得分为[12-20]之间,则认为焦虑水平为轻度。如果得分在[20-25]之间,则焦虑水平为中度。最后,对于严重状态,得分应高于25。
4数据分析
在处理阶段之前,对数据进行了评估以剔除实际评分与预期评分之间差异较大的数据。
根据Russell(1980)的研究,Russell定义焦虑为:低效价和高唤醒度。事实上,满足这种条件并且属于LVHA(低效价高唤醒度)象限的试验是我们工作的重点,如图2所示。为了分析所有参与者的数据,我们选择通过计算所有参与者对所有刺激情境的评价的变异系数(CV)来衡量相对变异性。
参与者评价的效价的平均CV为0.58,唤醒度的平均CV为0.42,这可以被认为是低变异性。需要注意的是,这个值高于预期。大多数情况下,这种变异性是由于参与者对SAM量表的理解不足而导致无法客观评分。表3展示了所有研究参与者对每种刺激情境的平均效价和唤醒度评分。
对于每种情境,参与者的评分可以用一个二维平面来表示,该平面对应于效价和唤醒度的值。这个平面可以根据效价和唤醒度量表的可能组合划分为四个象限。图2中显示的四个象限是:低效价低唤醒度(LVLA)、高效价低唤醒度(HVLA)、低效价高唤醒度(LVHA)和高效价高唤醒度(HVHA)。表4总结了参与者根据评价划分到四个效价-唤醒度象限的主观分类。
如图2所示,样本集中在LVHA和LVLA象限,这证明了所采用的情境在诱发参与者焦虑方面是成功的。汉密尔顿得分是在EEG记录之前和之后计算的。根据汉密尔顿得分,可以知道参与者的焦虑水平。表5展示了基于汉密尔顿得分在实验前后参与者的相应焦虑水平人数的变化。可以看到,在实验前具有正常、轻度和中度水平的参与者人数有所减少,而在实验后重度水平的参与者人数从7增加到了13。这是另一个证明我们在实验中成功诱发焦虑的证据。
Table 3 显示了根据所有参与者对每种情况的平均评价和标准差。它提供了参与者对他们经历的六种情况的平均效价和唤醒度评级信息。
刺激 | 效价 | 唤醒度 |
---|---|---|
情况1 | 2.13 ± 1.68 | 6.13 ± 2.63 |
情况2 | 3.43 ± 1.44 | 5.13 ± 2.68 |
情况3 | 1.86 ± 1.25 | 6.04 ± 1.69 |
情况4 | 3.86 ± 1.79 | 4.30 ± 2.47 |
情况5 | 3.30 ± 1.63 | 5.95 ± 2.24 |
情况6 | 2.26 ± 1.54 | 6.30 ± 2.18 |
平均CV | 0.58 | 0.42 |
表3说明情况1的平均效价最低(2.13),唤醒度最高(6.13),而情况4的平均效价最高(3.86),唤醒度最低(4.30)。效价的平均变异系数(CV)为0.58,唤醒度为0.42。
Table 4 根据SAM评级给出了每个象限中的参与者人数。这些象限代表了不同的效价和唤醒度水平:
刺激 | 低效价/低唤醒度 | 高效价/低唤醒度 | 低效价/高唤醒度 | 高效价/高唤醒度 |
---|---|---|---|---|
情况1 | 7 | 0 | 16 | 0 |
情况2 | 12 | 0 | 11 | 0 |
情况3 | 9 | 0 | 14 | 0 |
情况4 | 14 | 0 | 7 | 0 |
情况5 | 8 | 0 | 15 | 0 |
情况6 | 7 | 0 | 16 | 0 |
LVLA代表低效价/低唤醒度,HVLA代表高效价/低唤醒度,LVHA代表低效价/高唤醒度,HVHA代表高效价/高唤醒度。例如,在情况1中,有7名参与者同时被评为低效价和低唤醒度(LVLA),16名参与者被评为低效价但高唤醒度(LVHA)。
Table 5 根据他们的汉密尔顿分数显示了不同焦虑水平的参与者人数:
焦虑程度 | 正常 | 轻度 | 中度 | 重度 |
---|---|---|---|---|
实验前 | 4 | 6 | 6 | 7 |
实验后 | 2 | 5 | 3 | 13 |
表5指出实验前,有4名参与者焦虑程度正常,6名轻度焦虑,6名中度焦虑,7名重度焦虑。实验后,这些数字略有变化,2名参与者焦虑程度正常,5名轻度焦虑,3名中度焦虑,13名重度焦虑。
5.材料与方法
这项工作涵盖了创建一个稳健的基于EEG的焦虑检测系统所需的所有阶段,从制定焦虑刺激的实验协议到焦虑水平的分类。所提出系统的总体架构如图3所示。
6 特征提取
一般来说,我们可以根据领域将EEG特征分为三个主要类别,即时间域特征、频率域特征和时间-频率域特征。其他特征可以从电极的组合中提取,在本节中我们将提到其中的一种。
6.1 时间域特征
时间域特征是对信号特性的一种探索结果,这些特性在不同的情绪状态之间有所不同。许多研究采用了多种方法来提取此类特征。在我们的工作中,我们提取了Hjorth特征和FD特征:
6.1.1 Hjorth特征
Hjorth参数(Hjorth 1970)包括:活动性、流动性以及复杂性。时间序列的方差代表了活动性参数。流动性参数由平均频率或功率谱的标准偏差比例表示。最后,复杂性参数表示频率的变化。此外,它还指示了斜率的偏差。
Hjorth特征在许多EEG研究中都有应用,例如在Hjorth(1970),Horlings等人(2008)的研究中。在我们的工作中,我们计算了所有EEG通道的Hjorth参数,这为每次试验产生了一个42x1大小的特征向量。