FEAD：fNIRS-EEG情感数据库(视频刺激)

摘要

本文提出了一种可用于训练情绪识别模型的fNIRS-EEG情感数据库——FEAD。研究共记录了37名被试的脑电活动和脑血流动力学反应，以及被试对24种情绪视听刺激的分类和维度评分。探讨了神经生理信号与主观评分之间的关系，并在前额叶皮层区域发现了显著的相关性。该数据库将公开提供，旨在鼓励研究人员开发更先进的情感计算和情绪识别算法。

引言

情绪是神经系统对某种刺激产生的一种短暂而强烈的反应。许多研究表明，大脑皮层和皮层下神经结构参与了情绪的调节和处理。因为神经系统在控制、反应和调节心理过程中发挥着重要作用，所以了解其功能有助于我们识别有效的情绪指标。我们的感觉受体检测到体内和外部环境的变化，并通过动作电位(信号)将这些变化传递到大脑神经系统的相关部分。感觉、思想和决策是这些感觉输入信息综合的结果。随后，神经系统通过向不同器官(如肌肉和腺体)发送信号，使人们能够对环境变化做出有意识或无意识的反应。这产生了三种主要的情绪测量途径：1)通过收集生理信号(如呼吸频率、心跳或神经电活动)来测量生物标志物；2)监测外部表现(如宏观/微观面部表情或肢体语言)；3)主观评估(如自我报告测量)。

选择最能代表个体情感状态的一个或多个情绪指标，需要考虑人类情感的复杂性。尽管外部指标容易观察和获取，但包括社会义务和个人习惯在内的各种因素使得外部观察者很难理解与这些指标相关的情绪。另一方面，由于低信噪比、个体心理生理机制、性别以及心理和身体特征等因素，生理信号可能难以解释。然而，生物标志物不容易受到外部指标的限制，并且难以隐藏或伪装。此外，近年来的技术进步使得数据采集变得容易且成本低廉，从而使得生理信号能够可靠地用于检测人类情感。

在将人类情感映射到语义情感状态时，有两个广泛接受的框架：离散情绪理论和维度情绪理论。离散情绪理论认为，存在一组核心情感在人类中具有跨文化的可识别性。艾克曼提出的六种基本情绪，包括愤怒、厌恶、恐惧、快乐、悲伤和惊讶，是离散情绪理论中一个流行的模型。每种情绪状态都是独特且普遍的，具有特定的特征，使其能够清晰地界定并描述各种各样的情绪。然而，考虑到人类情绪的复杂性以及对基本情绪组成部分的不同看法，其他研究者提出了将情感状态映射到多维轴上的方法，这就是所谓的维度情绪理论。该理论有几种不同的模型。例如，PAD三维模型使用愉悦度、唤醒度和支配度来描述人类情感，其中愉悦度表示快乐或愉快的程度，唤醒度表示警觉水平，支配度表示对周围环境的影响感。另一个流行的维度模型是环形模型，它试图将情感映射到两个轴上：愉悦度和唤醒度。Plutchik(2003)提出的情绪轮结合了类别理论和维度理论。它将四种对立的主要情绪排列在一个同心圆上，这四种情绪分别是快乐、恐惧、悲伤和愤怒。在这里，本文使用了PAD维度模型和Plutchik情绪轮中的四种类别情绪来建立基础真值。

近年来，发布了许多情感基准数据库，这些数据库使用单个(单模态)或多种(多模态)情绪指标和一种或多种情绪理论。例如，柏林情绪语音数据库(Emo-DB)记录了10名演员(五名男性和五名女性)所说的535句话，目的是将他们的情感映射到六种情绪类别(快乐、愤怒、焦虑、恐惧、无聊和厌恶)。自发微表情(SMIC)和自发微面部动作(SAMM)数据集也是单模态数据库，其中记录了参与者的面部表情，并将其情绪转化为类别情绪。类似地，SEED数据集使用15名参与者的生理信号(EEG)来对他们的情绪进行分类。然而，人类心理状态、主观意识和无意识特征的复杂性，以及对全面理解人类情绪的需求促使研究人员开展了多模态情绪识别研究。AMIGOS数据集收集了40名个体的三种生理信号以及面部和身体的视频录制信息，以识别他们的细微情绪变化。DEAP、MAHNOB-HCI、RECOLA、DREAMER和DECAF也是多模态数据库，记录了参与者的眼动、面部视频、语音和生理信号(EEG、肌电图(EMG)、心电图(ECG)、皮肤电活动(EDA))。

鉴于大脑在处理和产生情绪反应方面发挥着核心作用，所以测量神经活动可以提供有关这一过程的宝贵见解，并有助于我们更好地理解情绪是如何表达的。EEG和fNIRS等技术成本相对较低，并且在收集大脑动态信息方面表现出色。一些早期研究强调了这些技术在混合设置中的互补性，特别是在测量神经血管耦合(脑血流量与神经活动之间的关系)的情感研究背景下。虽然有一些公开的fNIRS-EEG数据库，专注于运动想象、心理负荷和运动伪影分析，但据我们所知，目前只