ER综述论文阅读-Emotion recognition in EEG signals using deep learning methods: A review

Emotion recognition in EEG signals using deep learning methods: A review

Q1期刊，2023

论文链接：https://d1wqtxts1xzle7.cloudfront.net/105887899/emotionreview-libre.pdf?1695460941=&response-content-disposition=inline%3B+filename%3DEmotion_recognition_in_EEG_signals_using.pdf&Expires=1726555838&Signature=MhG9vmSZvUt54~IEj16-7dohUy8uMEFgQ5D4ZNA8GgSSon346rVHux7srpmsiAuJwb~Ut1y2m1QD4j~xT-rBGS0EaIn7qs3m4K~xhpdkMa4HbszDA7-zliJL-ZNRCCaFr2EE-n~RIpl21remopptnuOMSLvZtpSY7f-qdDwkJNRySm5JYx6xJDf9x7beDVoR1iyD55F4d6UrvdKJW~iUv8wjuYmrjK~A38OTZ9qsNgXQoQywVH6zzpDGeONhsJUKzTAxrUBbc4sdbA9MLj5V3Iwaw3a~aE-Y2HbnfNjkLk6RaMiZ9AXS7tw93p3F7VcZDWDURKNWid3BFtCqSPrdNg__&Key-Pair-Id=APKAJLOHF5GGSLRBV4ZAhttps://d1wqtxts1xzle7.cloudfront.net/105887899/emotionreview-libre.pdf?1695460941=&response-content-disposition=inline%3B+filename%3DEmotion_recognition_in_EEG_signals_using.pdf&Expires=1726555838&Signature=MhG9vmSZvUt54~IEj16-7dohUy8uMEFgQ5D4ZNA8GgSSon346rVHux7srpmsiAuJwb~Ut1y2m1QD4j~xT-rBGS0EaIn7qs3m4K~xhpdkMa4HbszDA7-zliJL-ZNRCCaFr2EE-n~RIpl21remopptnuOMSLvZtpSY7f-qdDwkJNRySm5JYx6xJDf9x7beDVoR1iyD55F4d6UrvdKJW~iUv8wjuYmrjK~A38OTZ9qsNgXQoQywVH6zzpDGeONhsJUKzTAxrUBbc4sdbA9MLj5V3Iwaw3a~aE-Y2HbnfNjkLk6RaMiZ9AXS7tw93p3F7VcZDWDURKNWid3BFtCqSPrdNg__&Key-Pair-Id=APKAJLOHF5GGSLRBV4ZA

文章总结

1. 论文的介绍部分首先涵盖了情感分类以及用于识别情感的技术。随后，对信号记录的几种方法（包括EEG［211］、温度［212］、心电图［213］、肌电图［214］和皮电反应［215］）的优缺点进行了回顾。接下来，本文讨论了EEG信号的重要性及其在情感识别中的挑战。最后，本文阐述了DL技术相比于ML技术在基于EEG信号进行情感识别中的优势。
2. 第2节回顾了基于DL技术的EEG信号情感识别的相关文献。所回顾的文献发表时间为2016年至2023年。此部分通过表2总结了所回顾文献的详细信息，展示了基于EEG的情感识别的最新研究进展，并将本文与其他研究进行了比较。
3. 第3节描述了文献回顾中使用的搜索策略，遵循PRISMA指南进行。我们重点收集了2017年至2023年使用DL技术进行情感识别的文章，并按照PRISMA指南［314］分三个阶段审查了相关研究。为便于文章筛选，我们还包括了PRISMA流程图和表格，概述了纳入和排除标准。这些措施旨在简化筛选过程并确保所回顾文献的质量。
4. 第4节讨论了使用DL模型开发的基于CAD的情感识别系统。该部分回顾了用于情感识别的CAD重要步骤，包括预处理和DL模型。首先介绍了可用于情感识别的EEG数据集。接着简要介绍了用于EEG信号预处理的关键低级和高级技术。然后，讨论了情感识别中使用的主要DL技术：卷积神经网络（CNNs）、预训练架构、自编码器（AEs）、循环神经网络（RNNs）、图神经网络和生成对抗网络（GANs）。表4总结了该领域的研究。
5. 第5节探讨了在使用DL技术进行情感识别过程中面临的挑战。最重要的挑战包括多模态数据集、不平衡数据集、可解释性AI（XAI）、DL技术以及硬件资源限制。此部分分别详细讨论了每个挑战。克服这些挑战将为基于DL技术的情感识别进一步应用研究铺平道路。
6. 第6节及其小节集中讨论了基于DL技术的情感识别研究。表4展示了使用DL技术从EEG信号中进行情感识别的研究。在这一节中，我们分析了表4中展示的信息，包括数据集、DL模型和分类算法。此外，我们还将本文的综述与同类主题的其他综述文章进行了比较，以突出我们工作的创新性。
7. 第7节概述了关于情感识别未来研究的最重要建议。这些建议涵盖了数据集、深度学习（DL）技术、可解释性人工智能（XAI）、硬件资源以及不确定性问题。关于DL模型的未来研究重点包括将变换器（transformers）、图卷积神经网络（GCNNs）、自监督学习（SSLs）和深度多任务学习（DMTL）架构应用于脑电图（EEG）信号的情感识别。这一部分为该领域的最新研究思路提供了灵感。根据表4的内容，可以看到一些研究人员在情感识别的研究中使用了图模型和注意力机制，并取得了成功的成果。然而，随着这些技术的新方法不断被引入，研究人员在未来的研究中将有更多的可能性可以探索。
8. 研究结果表明，未来开发基于EEG信号的情感识别实用工具是可行的。例如，医疗行业，包括医疗物联网（IoMT）［283,19］，正在通过AI技术迅速扩展。IoMT系统拥有庞大的存储容量，并配备了高性能的硬件单元用于信息处理［360,361］。因此，探讨IoMT系统在情感识别中的潜在应用是一个有趣的研究方向，可能会推动DL算法在实时情感识别中的实际应用。本文的另一个部分讨论了硬件挑战及其未来的潜在研究方向。未来研究中一个有前景的方向是利用基于现场可编程门阵列（FPGA）［362］和专用集成电路（ASIC）［363］芯片的片上系统（SoCs）进行EEG信号的情感识别。所提出的DL算法可以在这些芯片上实现和训练，从而快速且实时地检测包含各种情感的EEG信号。正如之前提到的，情感会影响人体的多个部位，因此，检测情感可能涉及使用不同的生物信号，如EEG、ECG、EMG等。因此，未来研究的一个重要方向是开发一种结合多种DL技术的情感识别系统，该系统能够从所有生物信号中检测情感。这种系统有望在情感识别中产生准确且可靠的结果。

1. Introduction

        情绪很复杂，很难分类[205]、[206]。不同类别之间可能存在重叠或不确定性，有些情绪可能不属于任何类别。虽然许多心理学家认可基本情绪理论，但对于确切的情绪理论并没有达成共识基本情绪的数量。例如，埃克曼最初提出了六种基本情绪，即恐惧、愤怒、喜悦、悲伤、厌恶和惊讶，每一种情绪都与不同的面部表情有关。后来，埃克曼扩大了他的清单，将其他基本情绪包括在内，如尴尬、骄傲、兴奋、羞愧、蔑视、满足和娱乐。汤姆金斯确定了兴趣-兴奋、享受快乐、愤怒-愤怒、痛苦-痛苦、恐惧-恐怖、惊讶-惊吓，羞耻-羞辱和轻蔑-厌恶是最基本的情绪[208]。罗伯特·普卢奇克基于进化论原理提出了一种情绪理论，认为八种主要情绪构成了所有情绪的基础：愤怒、恐惧、悲伤、厌恶、惊讶、期待、信任和喜悦。他还创建了这些情绪的视觉模型，称为情绪轮，它说明了如何将它们组合在一起来创造更复杂的情绪。此外，罗素提出了16种情绪，这些情绪可以绘制在唤醒(从愉快状态到不愉快状态)和价态(从平静状态到兴奋状态)的二维平面上[210]。图(1)显示了用于情感识别的情绪轮。

        目前，情绪识别领域正在进行大量的研究，引起了研究者的关注。根据使用的信号类型，情绪识别可分为两类：非生理性和生理性[207,211-215]。非生理信号包括语音语调、身体姿势、动作、面部表情和其他类似信号[19-26，28,187-204,216-2931。这些信号可以被主观地控制和隐藏，经常导致分类器[294]的错误诊断。相比之下，生理信号包括脑电(EEG)[2111]、温度(T)[212]、心电图(CG)[2131]、肌电(EMG)[2141]、皮肤电反应(GSR)[215]和呼吸(RSP)。

        人类的心脏受到不同情绪状态的深刻影响，恐惧、悲伤和快乐是其中的一种[295,296]。心电是一种非侵入性的方法，可以准确、高效、可靠地记录心脏的电活动，用于情感识别研究。通过心脏的电流可以很容易地察觉到情绪的变化。这项测试涉及通过皮肤电极记录心电信号，这解释了每秒心率的变化[295,296]。然而，心电信号也有一些缺点。当在噪声条件下记录时，心电信号可能具有较低的信噪比。此外，心电信号的解释需要专门的专业知识，非专家可能很难理解。

• 肌电信号（EMG）记录是一种非侵入性技术，用于评估肌肉和运动神经的状态[297，298]。EMG信号的频率响应直接对应于身体肌肉运动。由于情绪控制面部肌肉，大脑控制它们[297，298]。因此，EMG记录是识别情绪的有效方法。大脑向肌肉发送电脉冲以表达情绪，由情绪表现产生的肌肉电活动由EMG记录[297，298]。使用EMG识别情绪仍处于早期阶段，研究人员面临着一些挑战。一个主要挑战是肌肉激活的变异性，因为不同的人可以在相同的情绪下表现出不同的肌肉收缩模式[297，298]。
• 皮肤电流反应（GSR）是一种用于识别情绪的生物反馈方法，涉及测量皮肤电导的变化[299，300]。该方法可用于评估受试者手指和手掌中的腺体活动导致的皮肤电特性，例如电阻或导电性。GSR是生理唤起的可靠指标，通常被认为是：情绪唤起和压力的反映。使用GSR进行情感识别面临几个挑战。例如，GSR信号可能受到各种外部因素的影响，包括温度、湿度和皮肤接触压力，可能导致情绪识别不准确[299，300]。此外，不同个体之间的GSR数据往往存在很大差异[299，300]。
• 脑电波是一种非侵入性生理信号，可直接测量情绪状态期间的脑电活动[301，302]。与其他方法相比，脑电信号具有多个优点，包括更好的时间分辨率、更快的数据收集和传输以及更低的成本。此外，脑电波是一种自发的、非主观的生理信号，可以以无偏见的方式反映人类的情绪状态[301，302]。虽然脑电信号具有几个优点，使其成为情感识别的有用模式，但它们也有几个局限性[301，302]。使用脑电信号进行情感识别的重大挑战之一是不同噪音的存在[301，302]。脑电信号的另一个缺点是它们的空间分辨率有限。这可能会导致准确检测情绪状态期间激活的大脑特定区域变得困难[301，302]。

        从EEG信号中识别情绪是一项具有挑战性和要求的任务，主要是因为EEG信号是通过各种渠道记录的，而获取它们的过程通常是耗时的[303]。此外，脑电信号容易受到内部和外部噪声的影响，这使得心理学家很难准确地检测出其中的情绪。传统的机器学习(ML)和DL技术是扩展基于EEG的情感识别方法的主要途径[304,305]。这些技术涉及从经过预处理的EEG信号中提取时间、频率、时频和非线性特征[306-309]。然而，选择最适合这一目的的模型需要大量的专业知识，限制了它们的有效性和脑电识别的能力。方法包括四个关键阶段：预处理、特征提取、特征选择(降维)和分类[173,310]。ML中的特征提取和特征选择步骤是通过试错法执行的[173,310]。最后，使用ML方法对提取的特征进行分类，得到期望的情感分类结果[173,310]。

        在利用DL的情感识别技术中，特征提取和特征选择阶段是由深层执行的，因此情感识别过程中需要更少的实施步骤[311，312]。此外，DL技术具有无论复杂和大量的输入数据如何都能维持其性能准确性的优势，而ML方法的情况并非如此[311，312]。然而，情感识别方面的挑战集中在创建统一且集成的时间和空间特征分类方法，以及开发利用各种电极通道提供的空间信息来改进的方法数字图书馆中情感识别的精确度。鉴于情绪本身的不可预测性及其随时间的变化，在评估情绪状态时，时间依赖的作用变得更加重要[313]。
        本文对深度学习技术在脑电信号情绪识别中的应用进行了综述。综述为今后的研究方向提供了对相关挑战和最佳方法的见解。文献综述在第(2)节中介绍，其中包括应用各种AI方法从生物信号(如EEG)中识别情绪的研究，出版物跨度从2017年到2023年。如第(3)节所述，检索战略的依据是基于系统性审查和荟萃分析(PRISMA)指南的首选报告项目[314]。第(4)节考察了评价论文的主要组成部分，包括脑电数据集、预处理方法和深度学习技术。此外，表4提供了利用EEG信号和DL模型进行的情绪识别研究的摘要。第(5)节深入探讨了与情感识别试卷相关的挑战。第(6)节对基于深度学习的情感识别研究进行了讨论。此外，未来的方向、结论和发现分别在第(7)节和第(8)节中提出。综上所述，本文对深度学习技术在脑电信号情感识别中的应用进行了深入的分析，所提供的不同见解为该领域未来的研究提供了有价值的指导。

2.使用AI方法的情绪识别

        研究人员在最近的研究中利用各种ML和DL技术从脑电信号等生物数据中进行情感识别。本节评估了利用多种人工智能方法从脑电生物信号中识别情绪的综述论文。参考文献中作者的出版物。[5-7]专注于利用ML技术从脑电信号中进行情感识别。此外，Refs中的研究人员[8，9]应用DL技术从脑电信号中识别情绪。一些综述论文讨论了ML和DL方法在识别情绪中的使用[11-16]。所有综述论文的详细概述，包括期刊信息、出版年份、引文、所采用的人工智能技术和方式，请参阅表1。

3.基于PRISMA指南的搜索策略

        在他的部分中，使用PRISMA指南来搜索文献中的相关文章[314]。2016年至2023年间发表了将DL技术应用于脑电信号情感识别的论文。略

4. 计算机辅助诊断系统

        本节深入研究利用DL技术从脑电信号中识别情绪所涉及的步骤。最近的研究强调了管理情绪对于身心健康的重要性[1, 2]。忽视自己的情绪状态是抑郁症的常见原因[2]。包括生物信号在内的各种方法已被用于情感识别[7]。然而，由于情绪类型不同和强度不同，识别情绪对于心理学家和专家来说是一项复杂且具有挑战性的任务。缓解这一挑战，研究人员建议使用基于脑电信号的计算机辅助诊断系统（CADS）[9]。情感识别研究中采用ML和DL等人工智能技术来实现CADS。近年来，由于与ML技术相比，DL架构用于情感识别的使用显着增长。用于情感识别的CADS的主要组件包括脑电数据集、预处理算法和DL模型。图（3）描绘了利用DL技术进行情感识别的CADS的方框图。

1. 预处理步骤消除了脑电信号中存在的各种伪影。
2. 随后，DL模型用于特征提取和分类脑电信号。
3. 最后，使用特定标准来评估DL架构识别情绪的效率。

4.1 数据集

        基于人工智能技术开发高效的情感识别算法需要包含2个相当数量的对象的大型数据集。因此，数据集在情感识别研究中发挥着至关重要的作用。有几个数据集可用于此目的，包括SJTU情感脑电数据集（SEED）[19]、SEED-IV [201、用于分析脑电和面部表情之间情感相互作用的数据库（DAI-EF）[21]、使用生理信号进行情感分析的数据库（DEAP）[22]、拉夫堡大学多模式情感数据集（LUMED）[231，MAHNOB-ucci [24]、DREAMER [25]、AMIGOS [26]、SDEA [271和多模式生理情绪数据库（MPED）[28]。下面简要解释了每个脑电数据集。更多信息请参阅本节末尾的表3。

4.1.1.SEED

SEED数据集是在类脑计算和机器智能中心（BCMD，上海交通大学[19]）开发的。该数据集包括从15名受试者观看视频时获得的眼球运动和脑电波信号。录音持续了三天，每个视频持续约4分钟，引发三种情绪：积极的、消极的和中性的。SEED数据集中的两个实验阶段之间的间隔约为一周或更长时间[19].该数据集每个实验包括三个会话，每个会话从15名参与者收集脑电数据。使用62通道EsI Neuroscan设备以1 KHz的采样率记录脑电数据[19].然后将采样频率降低至200 Hz，并采用0-75 Hz的带通过滤器来消除脑电信号数据中的任何伪影[19]。

4.1.2. SEED-IV

原始SEED数据集的演变SEED-IV数据集包括四种不同的情绪：快乐、悲伤、恐惧和中性。共有15名受试者参与了这项研究，他们的脑电信号在三个单独的实验阶段被记录[20].每个会话涉及24个不同的2分钟视频片段，每个情感类别对应6个片段[20]。在观察过程中，参与者在观看2分钟的电影片段之前收到5秒的提示，然后是45秒的自我评估期。使用62通道Esi Neuroscan设备和SMl眼睛跟踪眼镜收集数据，在以200 Hz的降低频率进行脑电采样后，在1-70 Hz频率范围内应用带通过滤[20]。

4.1.3. DAI-EF

DAI-EF数据集由脑电信号和面部表情组成，收集这些信号是为了促进情感识别。该数据集使用对视频片段的生理和行为反应来确定情绪[21]。使用64通道Biotemi Active Two设备捕获脑电信号。该数据集还收集GSR、呼吸、眼动和面部视频信号。该数据集中记录的数据是从100个视频中获得的，这些视频旨在在试点研究期间唤起受试者的情感和中立状态[21]。这些视频的持续时间为1-2分钟，包括流行的商业广告和用户生成的视频。随后，Amazon Mechanical Turk的20名参与者根据6种基本情绪提供了40个带注释的视频片段，采用7点Likert量表。这些特定剪辑包含最有可能引发六种基本情绪的内容，即愤怒、厌恶、恐惧、喜悦、悲伤和惊讶[21]。
 

4.1.4. DEAP

DEAP数据集包括使用Biotemi Active Two设备收集的32名受试者的脑电波和周围生理信号[22]。
当受试者观看40个1分钟的音乐视频时，基于国际10-20电极系统记录脑电信号。每次视频演示后，参与者都会被询问他们自我评估的觉醒、效力、喜欢/不喜欢、主导和熟悉度评级[22]。采样频率从512 Hz降至128 Hz，然后应用4.0-45 Hz的带通过滤器以消除脑电信号数据中的噪音[22]。

4.1.5.LUMED

LUMED-2数据集是由英国拉夫堡大学和土耳其哈塞特佩大学共同努力创建的多模式数据集[23]。该数据集记录了13名受试者暴露于音频和视觉刺激时的脑电信号。所有刺激的总持续时间分别为8分钟和50秒，视频片段专门从互联网上选择，以唤起某些情绪。在每个视频片段之间，都会出现一个20秒的灰色屏幕，让参与者有机会休息。每次课程结束后，参与者被要求根据快乐、悲伤或中立类别表明他们的情绪状态。此外，使用一个640x480的网络摄像头以每秒30帧的速度录制，捕捉受试者的面部表情。使用8通道BEP设备以500 Hz的2个采样率记录脑电信号，然后通过0-75 Hz范围的带通过滤器进行预处理[23]。

剩下数据集略

4.2 预处理

        预处理是使用脑电信号开发基于CADS的情感识别系统的关键阶段。脑电信号容易受到外部和内部伪影的影响，这使得情感识别成为一项具有挑战性的任务。为了克服这些挑战，人们提出了不同的预处理技术。这些技术可以大致分为两组：低级技术和高级技术。表4列出了这些研究中使用的几种低级和高级预处理技术，以提高分析前脑电数据的质量。在下面的小节中，我们详细讨论了这些低级和高级预处理技术。

4.2.1 低级预处理技术

        这一部分介绍了有关从脑电信号中进行情感识别的论文中的低级预处理技术。根据表4，噪声去除、加窗、归一化和基线校正是脑电信号最重要的低级预处理方法[316,317]。EEG信号容易受到各种类型的噪声的影响，如电干扰、肌肉活动和运动伪影。这些噪声通常在低级预处理阶段通过带通、低通和高通等不同的滤波器来去除。加窗是脑电信号的另一个低层预处理步骤。在该阶段，将EEG信号分割成更小的时间间隔以进行更准确的处理[316]。这导致通过Al技术提高了用于情感识别的信息的分辨率。此外，EEG信号的幅度可以跨多个记录会话或针对每个受试者而变化。为了克服这一挑战，采用了归一化技术，如z分数或基线校正[39-44]。从表4中可以明显看出，研究人员在他们的情感识别工作中已经使用了各种低级别的预处理技术。在这些研究中，过滤、归一化和分割方法是最常用的低级预处理技术。、

4.2.1 高级预处理

        在深度学习应用中，脑电信号的高级预处理技术可以提高CADS的性能。表4概述了用于从EEG信号中进行情感识别的成功的高级预处理技术。数据增强(DA)[318]是一种流行的高级预处理技术，它涉及为DL模型增加人工输入数据。此策略有助于防止过拟合，并提高了使用DL模型进行情感识别的准确性。研究人员还实现了其他高级预处理技术，如离散小波变换(DWT)[1721]、连续小波变换(CWT)[401]和经验模式分解(EMD)[122]，以去除噪声并将脑电信号分解到不同的频段。独立分量分析(ICA)被应用于情感识别的高级预处理技术，取得了令人满意的结果[125]。此外，在另一项研究中，作为高级预处理的一部分，使用短时傅立叶变换(STFT)[39]、快速傅立叶变换(FFT)[1781]和连通性方法[46]将一维EEG信号转换为2D图像。将得到的2D图像作为输入应用到2D DL模型中。

4.3 深度学习模型

        DL模型在各种应用中显示出了令人鼓舞的结果，包括使用CAD来提高效率的医疗领域。近年来，许多研究成功利用DL模型从脑电信号中进行情感识别。本节重点介绍了用于此目的的关键DL模型，包括卷积神经网络。卷积神经网络（CNNS）[319，320]、生成对抗网络（GAN）[321，315]、循环神经网络（RNNS）[319，320]、自动编码器（AEs）[319，320]和图卷积神经网络[322，323]。该部分首先从CNN开始，它们有1D、2D和预训练模型，可以从脑电信号中高准确度识别情绪。下面简要解释了这些DL架构。

        具体介绍略

5. 挑战

        在前面的部分中，我们简要讨论了与使用DL技术进行情感识别相关的挑战。然而，本节提供了有关所面临障碍的更全面的详细信息。情感识别研究人员遇到了几项挑战在获得高分类性能中，例如包含大量受试者的脑电数据集的不可用性、多模式数据集、用于脑部疾病诊断的情感数据集、脑电数据不平衡、可解释人工智能（XAl）、DL模型和硬件资源。接下来的段落中简要解释了每个挑战。        

5.1.数据集

        数据集是用于情感识别的CADS的组成部分。获取各个医学领域的适当数据集一直是一个重大挑战[217-220]。虽然目前已有多个用于情绪识别研究的脑电数据集，但缺乏数据集被认为是情绪识别技术应用的主要障碍。这是因为与视听数据集相比，记录EEG序列的成本更高。4.1节重点介绍了可用于情绪识别的EEG数据集。然而，这些数据集面临着挑战，包括受试者数量少、数据不充分、噪声和有偏见的覆盖。这些限制给情感识别研究中应用先进的深度学习模型带来了困难。如表3所示，许多情绪识别研究人员已经使用了可用的脑电数据。不幸的是，这些数据集很少，没有噪音，而且评估起来很有挑战性。因此，具有更多受试者的脑电模式数据集的可用性可以促进这一领域的广泛研究。

5.2.多模态数据集

        在情感识别中，使用各种生物传感器来捕获来自人体不同部位的数据[221-223].最重要的信号是面部表情和脑电信号、心率和GSR，以及文本、音频和视频[189-199]。与使用个体模式相比，如果适当提取，多模态数据可以提供可以增强情感识别的必要信息。本研究中使用多模态数据集推动了情感识别的高性能。然而，一个突出的挑战是用于情感识别的可用多模态数据集的稀缺，导致使用DL技术的情感识别研究有限。具有大量受试者的多模态数据集的可用性可以作为情感识别的起点。

5.3.脑部疾病诊断数据集

        如前所述，不受控制的情绪对各种脑部疾病的发病率有显著影响，包括帕金森病（PD）[224]，Sz. [225]、和抑郁症[226]。长时间检查情绪可以帮助预防此类脑部疾病。不幸的是，人类经常忽视情绪，导致这些疾病的发展。研究人员基于情感识别探索了PD和ZZ病理学[224-226]。利用情绪识别诊断脑部疾病已成为医学研究人员感兴趣的一个重要领域[224-226]。然而，迄今为止还没有引入基于情绪的脑电数据集，这在该领域构成了两个重大挑战。具有大量受试者的多模态数据集可以为情感识别的应用研究铺平道路。

5.4.不平衡数据

        在医疗应用中，数据集的特征是多个类别，这些类别不一定具有相同数量的数据样本[227-229]。在Al中，不同类之间的数据不平衡被称为数据不平衡[227-229]。表3显示了用于情感识别的脑电数据集，揭示了数据集中的类别包含不同数量的数据。不平衡的脑电数据集给使用DL技术的情感识别研究带来了另一个挑战，导致情感识别DL网络的过度匹配。数据不平衡还导致不同类别中的受试者数量不均，进而需要缩减其他类别的数据规模以解决这一问题。在情感识别中，这可能会导致每个类别中少量EEG信号的丢失［227-229］。

5.5.可解释的Al

        DL体系结构通常是非线性的，通常被视为黑箱模型，因为它们缺乏关于可以提高DL模型效率的因素的信息[230,231]。在医学应用中，开发可视化的、可解释的和解释的DL模型的方法最近引起了极大的关注[232]。XAI已经产生了一套ML技术，这些技术可以生成更可解释的模型，同时保持高水平的准确性，使人类用户能够理解、信任和有效管理新兴的一代AI合作伙伴[232,233]。表(4)表明XAI方法还没有在情绪识别中与DL技术一起实现。XAI模型在基于脑电信号的情感识别中的应用前景广阔，为未来的研究提供了一条令人兴奋的道路。另一方面，在解释像脑电这样的生物信号时，XAL技术仍然面临挑战。XAI方法通常用于图像解释，其技术不太适合于生物信号等时间序列数据[342,343]。医用XAI领域的综述论文[344,345]表明，大多数方法，如Grad-Cam[346]，都是为医学成像分析应用而设计的。因此，用于分析EEG等生物信号的XAI技术的有限可用性是情绪识别的另一个挑战。

5.6.深度学习

        本节探讨DL模型在从脑电信号中识别情感方面的挑战。根据表4，由于1D原始脑电信号，大多数研究人员都在情感识别中使用CNN。尽管1D DL架构被广泛使用，但使用2D DL模型也获得了显着的结果。2D-CNN模型的优点是可以从脑电信号中提取关键特征[234，235]。然而，由于超参数众多，使用这些模型需要大量的计算能力和高端硬件资源。此外，值得注意的是，针对脑电波信号的情感预测是一个尚未引起太多关注的关键问题。开发根据脑电信号进行情绪预测的DL模型是一个可以进一步探索的有前途的领域。

5.7.硬件资源

        在上一节中，已经解释了在情感识别中使用DL技术的挑战。如前所述，具有情感识别应用的二维CNN架构等型需要高级硬件资源[236,237]。因此，从脑电信号中进行情感识别的研究受到硬件资源的限制，是训练和实现复杂DL模型的主要挑战之一。这些网络需要大量的计算能力和内存来处理数据和执行复杂的计算。GPU是训练DL架构最常用的硬件。然而，GPU价格昂贵，并不是每个人都能获得。此外，与传统系统相比，EEG数据集还带来了更多的维护和处理挑战，因为它们需要大量的内存存储。没有关于使用云计算克服硬件限制的研究[238]。尽管谷歌和亚马逊服务器提供了足够的内存空间和硬件资源，但它们并不适合用现实世界的应用程序进行真正的研究。

6.讨论        

        在本节中，我们深入研究利用DL模型从脑电信号中进行情感识别的文章的细节。表4展示了关于从脑电信号中识别情感的研究的详细信息，包括数据集、脑电模式、预处理技术、采用的DL模型、分类器算法和评估参数。此外，我们的目标是将我们的工作与之前的研究以图形形式进行的研究进行比较，强调我们的评论文章相对于之前研究工作的优点和优势。此外，我们还对情感识别研究进行了详细分析，更彻底地了解了使用脑电信号进行自动情感识别的DL模型中实施的方法。

6.1.我们的工作与其他综述论文的比较

        略第一段
        然而，与以前的综述文章不同的是，我们专门研究了关于使用DL技术从EEG信号中识别情绪的最关键的论文。首先，我们全面研究了最重要的基于EEG信号的情绪识别数据集。以前的综述论文忽略了这一关键步骤。此外，我们研究的另一个显著优势是提供了一个详细的表格，精确地审查了情绪识别文献。这一点意义重大，因为其他综述文章没有报告所分析的每项研究的细节。我们的论文中有一个标题为“挑战”的部分，在那里我们深入探讨了该领域中最重要的挑战，如数据集、深度学习技术、硬件限制等。值得注意的是，这一部分是一项独特的贡献，在其他综述论文中没有探讨过。此外，我们还在一个单独的章节中提出了使用DL技术从EEG信号中进行情感识别的未来最重要的研究方向，这是我们论文的另一个创新之处，因为它在其他综述文章中没有被广泛讨论。图(10)显示了我们的工作与其他审查论文之间的比较，突出了我们的论文中提出的各种创新之处，我们在本段中已对其进行了描述。

6.2.数据集

        该数据集是基于DL的情感识别CADS的重要组成部分识别。第4.1节指出了用于情感识别的可用脑电模式数据集。表3指定了每个数据集的详细信息，包括受试者数量、采样频率和任务类型。这些数据集在使用DL技术的情感识别研究中广泛流行。表4的一部分显示了使用DL技术进行情感识别研究中使用的脑电波数据集。图（11）显示了情感识别研究中使用的脑电数据集的数量。图（11）和表4表明，DEAP数据集是情感识别研究中使用最广泛的数据集。该数据集使用了大量的主题和多样化的任务。因此，它是情感识别研究人员最受欢迎的数据集。

6.3.深度学习模型

        本文主要对基于深度学习的情感识别模型进行研究。在情绪识别研究中，已经尝试和测试了大量的深度学习模型(表4)。在这些模型中，CNN、RNNS、AES、GRAPS和GANS被广泛应用于脑电信号的情感识别，如表4所示。图(12)显示了用于脑电信号情感识别的DL网络的数量，揭示了CNN模型是最普遍的选择。CNN结构的多样性和有效性--一维CNN、2D CNN和GCNN为它们在基于EEG信号的情感识别中的重要应用铺平了道路。如前所述，CNN模型的通用性和效率使其成为该领域应用最广泛的模型。

6.4.深度学习工具

        有许多工具可用于实施各种DL架构。流行的DL库包括Kera、TensorFlow和PyTorch等。这些库充当构建、培训和评估库的框架。TensorFlow以其易用性和简单性而闻名，使其成为初学者的绝佳选择。图(13)显示了情绪识别研究中使用的大量数字语言工具。TensorFlow库非常受欢迎，因为它在实现情感识别的CADS方面具有一致的更新、多功能性和易用性。图(13)中的信息显示了TensorFlow工具箱是利用DL技术进行情感识别研究的主要选择。

6.5.分类器

        在DL模型中，分类通常是在最后一层作为激活功能或方法。本节重点介绍DL技术中使用的分类算法，用于从EEG 信号中识别情感。表4包括有关情感识别和分类中的分类算法的部分。图（14）显示用于情感识别的分类算法，基于表4。根据图（14）和表4。Softmax算法是最常用于数据分类的算法，近年来被证明是高效且准确的。Softmax是一种流行的DL分类算法，用于各种应用。简单性、概率解释、处理多个类、正规化和基于梯度的优化是softmax分类器的最大优势。情感识别研究结果也证实了其相对于其他分类算法的优越性能。

7.未来的工作
 

这一部分描述了使用DL技术进行情感识别的未来工作。表(4)列出了利用DL技术从EEG信号中识别情绪的不同研究。这些表格显示了未来研究在各个领域探索新方法和新技术的潜力。本部分提出的建议对近期情感识别的实际研究具有重要意义。情绪识别的未来研究包括数据集、数据挖掘技术、XAI、硬件资源和不确定性。通过对这些未来工作的关注，我们可以为通过深度学习技术研究和理解人类情感方面取得更成功的结果铺平道路。

7.1.数据集

        4.1节介绍了用于情绪识别应用的脑电数据集。此外，表3还提供了每个数据集的详细信息，包括受试者的数量、通道和任务。这表明可用的数据集的主题数量有限。具有大样本的数据集可以在情感识别研究中产生有价值的结果。因此，未来的研究应该提供具有大量受试者的脑电数据集。表3显示了每个数据集中的各种类型的EEG信号记录任务。此外，未来的研究可以通过在记录脑电信号的同时设计各种任务来拓宽情绪识别研究的范围。

7.2.多模态数据集

        情绪识别研究人员通常使用几种医学信号和图像进行研究。流行的医学数据有脑电、心电[239]、功能近红外光谱(FNIRS)[240]和磁共振成像(MRI)[241]。参考文献中的作者[242]使用多模态数据进行情感识别。该领域的研究人员还利用EEG-fNIRS、EEG-MEG和EEG-fMRI数据来提高情绪识别的准确性。然而，正如上一节所提到的，情感识别研究的一个主要挑战是利用有限的多模态数据集的数据挖掘技术。具有大量受试者的大规模多模态数据集可以为这一领域的显着进展铺平道路。

7.3.DL模型

         在这一部分中，我们将介绍和评估目前用于情感识别的DL体系结构。表4重点介绍了在这一领域开展的重要研究，重点是深度学习技术。我们可以从表4中观察到，一些研究人员实现了标准的DL模型，如CNN、RNNS或AEs，而另一些研究人员则尝试将这些模型结合起来以提高情绪识别的准确性。近年来，研究人员采用和应用了注意力和图形CNN等新的数字学习模型，并取得了显著的效果。在接下来的小节中，我们将进一步讨论各种新的DL模型，这些模型可以用于未来使用脑电信号进行情感识别的研究，例如Transformer[273-276]、图卷积神经网络[277-2801]、自监督[19,281-283]和多任务学习[20-23]。

7.3.1 Transformer模型

        Transformers模型是最近增加的DL体系结构家族中的一员，引起了医学研究人员的注意，特别是那些研究脑电等生物信号的人。这些模型基于编解码器结构，而注意力层起着至关重要的作用[243,244]。转换器主要用于医疗数据分割或分类，视觉转换器(VIT)因其基于self-attention而设计的基本结构而成为流行的选择[245,246]。与CNN模型相比，Transformer已成功地应用于医学研究。未来的研究可以探索使用Transformer模型来分析脑电信号中的情感识别。一种可能的方法可能涉及在预处理阶段将EEG信号转换为2D数据，然后应用诸如VIT[259]、GRAPE[260]或Recurrent Spatial Transformer[261]的Transformer模型。

7.3.2 图卷积神经网络模型

        图理论在人工智能中是一个广阔的领域，在医学领域有许多潜在的应用[247]。近年来，它被集成到深度学习体系结构中，以提高其效率。基于图的DL结构通常分为两类--图神经网络(GNN)和图卷积神经网络[247-250]。GNN模型处理图形数据以及节点、边和图形级别的预测性任务的直接解决方案[247-250]。另一方面，GCNN结构通常用于对脑电信号进行分类并产生有价值的结果。不同的GCNN结构已经成功地用于从EEG信号中进行情感识别[146]。在未来的工作中，研究人员可以采用新的方法，如attention graphs[262]和semi-supervised attention graphs[263]，以产生更有价值的情感识别结果。这些架构可以用于从不同的角度探索情感识别，从而获得新的见解并提高该领域的准确性。

7.3.3.半监督学习

        个体在不同水平上经历不同的情绪，因此，脑电波信号被分为不同的情绪类别识别.然而，这对标记脑电信号提出了一项具有挑战性的任务。此外，由于长的脑电信号，标记过程变得更加复杂。克服这些挑战的一种解决方案是采用半监督学习（SSL）模型[251-254]。几种最新的SSL模型，例如Contrastive SSL [2641]、SSL Attention [265]和SSL Graph [2631]，已被成功用于基于脑电信号诊断医疗状况。SSL架构未来还可以用于从脑电信号中识别情感，并可能产生有价值的结果。

7.3.4.多任务学习

        近年来，基于DL的多任务学习架构已经出现，用于各种应用。这些模型高度灵活，优于标准DL模型[255-258].参考文献[257]中的作者评估了多任务学习架构在分类脑电信号方面的性能，并发现它们因其高效率和准确性而极其有效。未来研究的一个有希望的途径是将多任务模型应用于来自脑电信号的情感识别。此外，端到端多任务学习可能是未来使用脑电信号进行情感识别研究的一种有前途的方法。基于RNNS [2661]、AE [2671]、注意机制[268]等的其他多任务模型也可以用于该领域。

7.4.可解释的人工智能

        近年来，XAI已成为利用生理信号和医学图像进行医学研究的一个实用领域[269,270]。这些方法已被用作各种医疗应用的后处理步骤，为临床医生和研究人员提供了对数据的有价值的见解。XAI技术与DL模型的结合是未来情感识别研究的一条很有前途的途径。这种方法可以增强心理学家对基于EEG信号和DL技术的情绪识别系统的信任，因为XAI组件可以提供相关信息和对DL模型所做决策的洞察。到目前为止，已经使用了几种XAI方法和DL技术来准确地分析生物信号。例如，t-SNE技术已被广泛用作从EEG信号诊断大脑疾病的XAT方法，这大大增强了医生使用DL技术进行此类诊断的信心[347,348]。作为未来的工作方向，t-SNE等XAI技术的应用可能会在脑电信号的情感识别方面产生有趣的结果。此外，如挑战部分所述，已提供有限的XAI方法来解释EEG信号。因此，基于生物信号的新型XAI方法的开发是未来研究的另一个潜在领域。

7.5 硬件资源

        DL模型的复杂性增加导致了对计算能力的同样高的需求，导致面临新的障碍。这个问题的一个可能的解决方案是利用谷歌和亚马逊提供的云服务[271,272]。然而，在这些云计算服务器上运行DL模型仍然存在挑战。量化技术的最新进展显示出解决这一挑战的前景，因为它们能够显著减少所需的硬件资源[273-275]。该方法可用于未来的DL模型研究[273-275]。另一种可能的方法涉及利用可在硬件资源有限的系统上实现的深度紧凑的CNN[276]。最值得注意的紧凑型CNN技术包括FBNetv3[2771]、MnasNet[2781]、TinyNet[279]和MobileNet[280]。此外，利用深度紧凑的CNN也有利于从EEG信号中进行情感识别。

7.6.不确定性

        近年来，不确定性量化（UQ）技术被应用于深度学习（DL）模型，其主要目标是评估这些网络的性能［284］。多项研究表明，不确定性量化方法在多个领域中已产生了有价值的成果［285-288］。尽管深度学习架构在基于复杂数据的预测应用中表现出强大的能力，但在面对不同数据时，往往会表现出较差的性能［286,287］。深度学习架构中的不确定性涉及模型不确定性、数据不确定性和参数不确定性［286-288］。在深度学习模型中实施不确定性量化，可以通过评估不确定性并采取措施加以应对，从而使这些模型在家庭环境中也能得到有效应用。