AffectEval：一种模块化且可定制的情感计算框架

Emily Zhou
emilyzho@usc.edu
计算机科学
南加州大学
洛杉矶，CA，美国
Yixue Zhao
yzhao@isi.edu
南加州大学信息科学研究所
南加州大学
阿灵顿，VA，美国

摘要

情感计算领域专注于识别、解释和响应人类情感，在教育、儿童发展以及人类健康与福祉方面有着广泛的应用。然而，由于缺乏支持多模态、多领域情感识别应用的软件框架，开发情感计算流水线仍然是一项劳动密集型任务。这通常导致在为不同应用构建流水线时产生冗余努力。尽管最近的一些框架试图解决这些挑战，但在减少手动工作量和确保跨域泛化能力方面仍存在局限性。我们介绍了AffectEval，这是一种模块化且可定制的框架，旨在通过减少开发此类流水线所需的手动工作量和重复工作来促进情感计算流水线的开发。我们通过复制先前的情感计算实验来验证AffectEval，并展示了我们的框架如何将编程工作量减少了多达90%，这是通过减少原始代码行数来衡量的。

关键词

情感计算，软件框架，人工智能/机器学习

1 引言

情感计算是一个跨学科的研究领域，利用计算方法来识别、解释和响应人类情感。尽管刺激可能有所不同，但许多情感计算流水线共享相同的设置。Oliveira等人[35]概述了情感计算流水线的关键步骤，包括信号采集、信号预处理、特征提取和预测，如图1所示。因此，已经开发了几种软件库和框架来支持情感计算流水线的创建[11, 31, 34, 35, 42]。然而，由于情感计算的应用范围广泛——涵盖心理健康（MH）障碍[4, 19, 53]、个性化教育[7]以及与老龄化相关的疾病如阿尔茨海默病[44]——这些软件框架并不全面，还存在额外的局限性，造成高手动成本并阻碍其重用性。一个全面的情感计算框架应提供所有组件。

Khushboo Khatri
khatrik@usc.edu
电气与计算机工程
南加州大学
洛杉矶，CA，美国

Bhaskar Krishnamachari
bkrishna@usc.edu
电气与计算机工程
南加州大学
洛杉矶，CA，美国

以支持跨领域的各种用例，包括不同的信号和方法。

为了指导这样一个框架的开发，我们分析了现有的情感计算工具。像Python [46]这样的编程语言提供了诸如scikit-learn [37]、pyHRV [18]和NeuroKit2 [31]等库，这些库支持情感计算流水线的部分功能。这包括信号预处理、特征提取和分类。近期的工作还引入了旨在更加灵活[35]和用户友好的框架[34]，以促进情感计算流水线的开发。然而，我们确定了以下主要局限性：
(1) 研究人员通常需要从头开始使用各种现有的库和框架创建流水线。这通常需要广泛的软件经验，耗时且会导致跨应用的重复工作。
(2) 一般来说，情感计算流水线是特定于信号和领域的；即它们只支持有限的一组信号和应用。结果，很难在流水线之间重用代码或使它们在数据集之间具有通用性。
(3) 没有标准化接口可以比较不同情感计算技术中各个组件的性能。
据我们所知，目前尚无用于端到端情感计算系统开发的综合框架。为了解决上述局限性，这种框架应该是模块化的、可定制的，并且灵活地支持多模态信号（来自多种类型的传感器和数据流）和多领域应用（如一般情感、压力和抑郁检测）。由负责情感计算流水线不同部分的独立模块组成的框架提供了一个易于重用的结构。用户还应该能够根据需要自定义模块，以创建新的流水线或将现有流水线适应新应用。他们还可以通过修改行为（例如使用不同的信号预处理方法、特征提取技术和分类模型）在公平的环境中比较不同组件的性能。

我们介绍了AffectEval：一种模块化且可定制的情感计算框架，其适用于比现有框架更多的信号和应用。我们的框架基于面向对象范式设计，使得每个组件负责情感计算流水线的不同部分。我们对每个组件进行编程，提供默认功能，这些功能也可以被覆盖以实现自定义方法，从而使研究人员能够轻松设置基本的端到端流水线或按需创建专业应用。我们主要关注时间序列生理信号在情感计算中的使用，因为它们在情绪识别中的广泛应用及其与精神状态的联系，正如躯体标记假说[13]所建议的那样，但AffectEval可以轻松扩展以支持其他类型的信号。我们还建立了一种情感计算数据集的标准格式，以减少所需的手动设置工作量，详细内容见第3.1节。

此外，我们通过使用焦虑阶段数据集（APD）[41]和可穿戴压力与情感检测数据集（WESAD）[40]重现Schmidt等人[40]和Zhou等人[51]的实验来展示AffectEval的功能。选择这些数据集是因为它们是压力和情感检测的成熟多模态数据集。两位作者进行了不同类型的情感识别任务：Schmidt等人在WESAD上执行了二元和三类情感分类，而Zhou等人在APD和WESAD上执行了二元压力检测。因此，这些数据集和实验适合于展示AffectEval的易用性和可重用性，以及其创建与信号和领域无关的流水线的能力。我们的基于AffectEval的流水线模型性能在很大程度上匹配或超过了之前工作的表现[40, 51]，同时使用的代码行数减少了高达90%。我们在实验中重用了流水线结构，并通过AffectEval的模块化设计结合了不同的预处理技术、特征提取方法和模型。

总结起来，本文做出了以下贡献：

• 我们对现有情感框架进行了广泛的文献综述，以激励AffectEval的设计。
• • 我们开发了AffectEval，这是一个带有预实现行为的综合框架，以促进情感计算研究。我们开源了框架和工件，以推动该领域的未来研究。
• • 我们将现有工作迁移到AffectEval，为研究人员提供了一个起点，以便在公平的环境中比较情感计算工作。
• • 我们重现了现有工作，量化了AffectEval在达到或超过其模型性能指标的同时减少手动工作量的程度。
• 第2节提供了现有情感计算的方法、软件库和流水线的概述。第3节描述了AffectEval的架构，并概述了使用我们的框架实现情感计算流水线所需的步骤。第4节描述了我们如何实现AffectEval以复制Schmidt等人和Zhou等人的实验。第5节讨论了我们的发现。我们在第6节总结了本文。

2 背景及相关工作

在本节中，我们回顾了情感计算在以人为中心的应用中的潜力，重点是心理健康护理，随后概述了现有的情感计算软件库和流水线。我们识别了它们的优势、劣势和共同组件，并将其作为开发AffectEval的指南。

2.1 情感计算

情感计算在心理健康应用中显示出巨大的前景，特别是在各种疾病的诊断、跟踪和治疗方面。最近的研究探索了其在抑郁症[53]和焦虑检测[22]等广泛的心理健康护理应用中的使用。情感计算还可以通过客观生物标志物（如眼动和声学特征）造福晚年情绪和认知障碍（如抑郁症和阿尔茨海默病）的治疗和护理[44]。

用于健康应用的情感检测信号类型各异，各有优缺点。面部分析和音频处理因其易于收集和非侵入性的特点而受欢迎[29]。它们在临床环境中特别有用，可用于检测压力或焦虑等情绪，但可能会受到文化偏见和环境因素的影响。生理信号（如EEG、ECG和皮肤电活动）由于与自主神经系统直接相连，提供了更客观的情绪状态测量方法[30]。最近的研究已使用生理信号进行压力[17, 27, 40, 52]和抑郁[15, 53]检测。

2.2 对现有情感计算流水线的调查

根据以往的工作，情感识别系统可以分解为以下几个主要组成部分：信号采集、信号预处理、特征提取、特征选择和分类。表1提供了相关工作及其所包含组件的概述。接下来，我们将说明Schmidt等人实验中每个组件执行的任务[40]。

信号采集是将信号读入情感识别系统的流程。这可以从本地数据库实时获取更多数据流[3, 48]。近年来，许多单模态和多模态情感的基准数据集已被发布[49]，以支持情感计算研究。情感诱发方法和采集的信号类型差异很大。例如，可穿戴压力和情感检测（WESAD）数据集[40]包含从中性、压力和娱乐状态下采集的血容量脉冲（BVP）、心电图（ECG）、皮肤电活动（EDA）、肌电图（EMG）、呼吸（RESP）、体温（TEMP）和三轴加速度（ACC）。DEAP[25]包含个体观看音乐视频时的脑电图（EEG）、外周生理信号和视听记录。也有努力开发实时情感识别系统；[12]介绍了一种从ECG信号流中实时检测负面情感的方法，而[6]则开发了一种交互式对话系统以实时识别用户的情感。

信号预处理对于去除噪声和隔离频带以进行特征提取是必要的。[40]使用了各种滤波器；例如，他们应用高通滤波器去除了EMG信号中的直流分量，并使用低通滤波器去除了EDA信号中的噪声。

	论文	多模态信号	多领域	情感计算流水线组件
				预处理	特征提取	特征选择	传统机器学习	深度学习
情感计算实验	Zhu et al. [52]	$✓$	X	$✓$	$✓$	$✓$	$✓$	$✓$
	Khateeb et al. [24]	$✓$	X	$✓$	$✓$	X	$✓$	X
	Koelstra et al. [25]	$✓$	X	$✓$	$✓$	X	$✓$	X
	Dominguez-Jimenez et al. [14]	$✓$	X	$✓$	$✓$	$✓$	$✓$	X
	Ayata et al. [5]	X	X	$✓$	$✓$	X	$✓$	X
	Schmidt et al. [40]	$✓$	$✓$	$✓$	$✓$	X	$✓$	X
	Zhou et al. [51]	$✓$	X	$✓$	$✓$	X	$✓$	X
框架	Oliveira et al. [35]	$✓$	$✓$	$✓$	$✓$	$✓$	$✓$	X
	Mertes et al. [34]	$✓$	$✓$	$✓$	$✓$	X	$✓$	$✓$
	Wagner et al. [48]	$✓$	$✓$	$✓$	$✓$	X	$✓$	X
	AffectEval	$✓$	$✓$	$✓$	$✓$	$✓$	$✓$	$✓$

表1：Oliveira等人[35]中描述的情感计算流水线组件示例实验和框架。AffectEval是第一个包含所有流水线组件的开源、模块化情感计算框架。

图1：Oliveira等人[35]中确定的情感计算流水线关键组件及各组件执行的操作示例。

其他常见的预处理技术包括去除ECG信号中的基线漂移和电源噪声。

特征提取在经典基于特征的情感识别方法[7]中使用非深度学习模型进行，如支持向量机（SVM）[47]和随机森林[9]。例如，[40]进行了手动特征提取，获得了统计特征（均值、中位数、标准差）和高级生理特征。从ECG信号中进一步提取了心率、心率变异性（HRV）和频率域特征，并将EDA信号分解为其稳态和瞬态成分。这些高级特征已被证明与某些情绪状态有关，表明进行特征提取的必要性。例如，降低的HRV与升高的焦虑水平有关[26]，而SCL的变化可能反映唤醒水平的变化[8]。

特征选择通常有必要减少输入特征的维度[7]。虽然这一步骤未包含在[40]中，但可以通过特征选择和降维来防止过拟合[52]。一些常用的特征选择方法包括主成分分析（PCA）[23]，它基于不相关的主成分减少特征集，以及顺序前向选择（SFS）[16]，这是一种迭代方法，添加那些最能改进分类器性能的特征。

分类是流水线的最后一步，包括训练和评估情感识别模型。可以使用传统的机器学习（ML）和深度学习（DL）方法来进行二元和多类情感分类[7, 39]。特别是，[40]使用决策树（DT）、随机森林（RF）、AdaBoost（AB）、线性判别分析（LDA）和K近邻（KNN）ML算法来进行二元压力分类和三类分类（非压力、压力和娱乐）。其他人则根据Russell的情感环形模型[38]进行了效价和唤醒分类[25]。

2.3 现有的软件库和流水线

现有的情感计算软件库和框架通常仅支持流水线的一部分组件，而不是全部。例如，Matlab [21]提供了许多包，提供信号处理、分析和可视化的函数。PyTorch [36]和Tensorflow [2]是用于构建机器学习模型的开源框架，但可能需要复杂的脚本，设置起来费时。其他库专注于一小部分信号的预处理方法，如biosppy [11]和

信号采集 - 从数据集中读取和格式化信号	信号预处理器 - 重采样 - 去噪 - 时间对齐	特征提取器 - ECG: HR, RMSSD, SDNN - EDA: 平均SCL, SCR率 - EMG: 脉冲起始点, 能量 - 统计特征: 均值, 标准差等	说明 由Oliveira等人[35]识别的组件
特征选择器 - 前向特征选择 - 降维	标签生成器 - 主体识别 - 阶段识别 - 自我报告的情感识别	分类 - 模型训练 - 模型评估 - 交叉验证 (CV): - 五折交叉验证 - 留一法

图2：AffectEval组件概述。我们扩展了[35]识别的组件，增加了特征选择和标签生成，这些步骤在不同领域的感情识别中是有用且通常必要的。加粗的点表示预实现的行为。
neurokit [31]用于生理信号，包括BVP、ECG、EDA、EEG和EMG，以及heartpy [45]用于ECG和PPG信号。

虽然有一些更全面的工具支持流水线的更多组件，但它们通常特定于一个或非常少的应用领域。AffectToolbox [34]通过图形用户界面（GUI）框架促进了情感计算应用的研究开发，消除了对广泛编程知识的需求。它提供了视频和音频信号的信号处理和深度学习方法，并提供实时分析。虽然它实现了让更广泛学科的用户都能访问的目标，但它不支持多模态生理信号。

metaFERA [35]框架提供了创建特定领域情感识别软件框架的构建块。它由独立且可重用的模块组成，提供了情感计算流水线的高层次结构。然而，它不提供默认功能或支持深度学习模型，需要用户自己实现方法。它还用Java编写，而大多数情感计算中使用的库都在Python中可用。这对该领域的研究人员来说可能是个问题，因为他们不太可能熟悉Java。

总的来说，现有的情感计算软件工具仅支持流水线的一小部分或一小部分信号，用途有限。因此，需要一种情感计算框架，涵盖从信号采集到模型评估的整个流水线，同时易于实现且易于定制。

3 AffectEval的设计

本节描述了AffectEval的设计及其解决现有情感计算库和框架缺陷的功能。AffectEval是一个元框架，通过使用单独类定义的构建块实现端到端情感计算流水线的简单构造。AffectEval具有以下三个关键特性，如下所述，直接解决了现有工作的局限性。

模块化：AffectEval采用模块化架构，基于先前工作中识别的常见组件设计。它由六个类组成，我们称之为组件：（1）信号采集，（2）信号预处理器，（3）特征提取器，（4）特征选择器，（5）标签生成器，和（6）分类器。我们在[35]最初提出的情感计算流水线中引入了特征选择和标签生成作为新组件。我们为每个组件提供了预先实现的行为，这些行为在图2中以粗体点表示。组件是独立的，可以轻松修改，而在特征提取器和特征选择器的情况下，可以根据需要省略。用户实例化必要的组件，然后将它们组织在一个有序列表中，使得每个连续组件的预定义输入和输出类型兼容。组件的必要顺序如图3所示。然后将此列表传递给Pipeline，后者按顺序执行每个组件的功能。

可定制性：AffectEval允许用户根据需要在组件级和方法级修改和增强其功能。每个组件都有一个从抽象基类（ABC）扩展的默认实现，但用户可以选择根据需要实现自己的版本。每个预定义组件还提供了可以覆盖的默认方法。清单1呈现了一个使用AffectEval创建的流水线的高层视图，改编自我们自己的实现，以复制Schmidt等人和Zhou等人在第4节中描述的实验。在每个组件实例化中，用户可以指定参数，如信号类型、特征提取方法和模型。

信号和领域无关：AffectEval可以轻松扩展以支持不同应用中的广泛信号类型，例如多类情感识别、压力检测和抑郁检测。通常，现有工作集中在单一领域，但AffectEval可以实现和重用跨领域的共同组件。例如，清单1是一个可以修改以在不同数据集上执行各种情感识别任务的示例流水线。

图3：AffectEval的示例实例化。实线框表示必需组件，虚线框表示可选组件。

图3提供了AffectEval的一个示例实例化，并描绘了流水线组件之间的数据流动。用户的主要工作来自于流水线的实现、自定义组件和方法的定义，以及将数据集格式化为与信号采集组件兼容的形式，我们将在下面讨论。

3.1 先决条件

为了使框架能够处理输入信号以完成情感识别任务，数据集文件夹和文件的结构必须遵循标准格式${}^1$。预期的数据文件目录结构如下：

{source_folder}/
{subject_ID_1}/
{subject_ID_1}{phase}{modality}.{csv}
*.
{subject_ID_2}/

subject_ID值必须是数据集中每个主体的唯一标识符。phase描述了

情感诱发实验的不同阶段；通常，情感计算数据集包括休息阶段以获取基线测量值，以及暴露于各种刺激和压力源的阶段。最后，modality代表该文件中包含的信号类型，即ECG、EDA或RESP，并且这些信号类型必须得到AffectEval的支持（目前支持ECG、EDA、EMG、RESP和TEMP信号）。需要逗号分隔值（CSV）文件格式，该格式以表格形式包含数据。CSV文件必须包含两个标题：（1）时间戳，和（2）模态（例如ECG、EDA或EMG）。时间戳列必须包含数据收集的时间戳，而模态列必须包含相应的测量值，例如以毫伏为单位的ECG测量值或以微西门子为单位的EDA测量值。

3.2 信号采集

信号采集组件从数据集文件夹中的CSV文件读取信号，并将数据格式化为pandas DataFrame对象[33]。此组件返回一个字典，其中包含列表的pandas DataFrames，字典中的每个键对应一个唯一的主体，每个列表包含该主体的所有信号作为DataFrames。支持的信号集可以通过在包含的元数据文件中定义新信号类型轻松扩展。

3.3 信号预处理器

信号预处理器执行信号去噪和其他预处理步骤，例如重采样和插值。默认的预处理方法使用biosppy、heartpy、neurokit和scipy Python库提供，但用户可以通过类参数preprocessing_methods传递自定义方法。具体来说，我们提供了对ECG、EDA、EMG和RESP信号进行去噪的方法。这些包括去除ECG和EDA信号中的基线漂移和电源噪声，并应用滤波器以去除EMG和RESP信号中不必要的频率。每个DataFrame分别处理。此组件保持与信号采集组件相同的数据结构：包含DataFrames列表的字典。

3.4 特征提取器

特征提取器使用AffectEval框架提供的默认方法或用户通过feature_extraction_methods类参数传递的方法从输入信号中提取高级特征。我们实现了从ECG、EDA、EMG、RESP和TEMP信号中提取特征的方法；这些包括从ECG信号中提取的心率和心率变异性指标，从EDA信号中提取的稳态和瞬态成分，以及统计特征。默认情况下，特征会针对每个阶段的时间序列进行平均，但用户可以通过calculate_average类参数覆盖此功能。最后，执行特征融合以组合从不同信号中提取的特征。提取的特征集被连接以形成一个新的DataFrame，每个特征位于单独的一列中。此组件的输出是一个字典，其中键对应于主体，值是每个主体对应的特征集，组织在DataFrame中。

${}^1$ AffectEval GitHub仓库（https://github.com/ANRGUSC/AffectEval）包含将数据集重新格式化为预期格式的示例脚本，apd.py和sexad.py。

定义标签生成函数

def generate_labels():
…
signal_types = [ECG, EDA, EMG] # 指定信号类型
signal_acq = SignalAcquisition(signal_types, source_folder)
# 未指定preprocessing_methods，因此将使用默认方法
signal_preprocessor = SignalPreprocessor(resample_rate=250)
# 通过feature_extraction_methods指定自定义方法
feature_extractor = FeatureExtractor(feature_extraction_methods)
label_generator = LabelGenerator(generate_labels)
models = {
“DT”: DecisionTreeClassifier(criterion=“entropy”),
“AB”: AdaBoostClassifier(n_estimators=100),
“KNN”: KNeighborsClassifier(n_neighbors=9)
}
# 分类模式：0 = 训练，1 = 测试，2 = 交叉验证
classifier = Classification(mode=2, models=models)
pipeline = Pipeline()
pipeline.generate_nodes_from_layers(
[signal_acq, signal_preprocessor, feature_extractor,
label_generator, estimator_train_val_test]
)
out = pipeline.run()
# 从流水线中获取结果
y_true = out[1]
y_preds = out[2]

3.5 特征选择器

特征选择器是一个可选组件，可以在特征提取组件之后插入。提供的默认特征选择器是scikit-learn的SequentialFeatureSelector，但用户可以使用与scikit-learn特征选择模块兼容的自定义特征选择方法，例如，用户必须定义fit()和get_feature_names_out()方法。此组件自动识别分类特征，并对分类特征执行独热编码，以确保这些特征与需要数值输入的机器学习模型兼容。

3.6 标签生成器

标签生成器是我们引入的另一个组件，旨在改善实施情感识别系统的便利性。它根据从特征提取或特征选择组件传递的特征创建标签。AffectEval提供了基于从数据集文件夹获得的主题ID和阶段名称生成标签的默认函数。然而，为了从注释或其他标签进行情感识别，用户需要实现自己的标签生成函数并通过label_generation_method类参数传递给标签生成器。该函数必须为每个特征向量生成相应的标签。例如，WESAD为每个主题提供了自我报告文件，每个实验阶段有一个自我报告。在我们的实验中，我们实现了一个
函数以提取特定的问卷回复并生成二元情感标签，我们在第4.2节中详细说明。

3.7 分类

分类组件启用了情感计算模型的训练和测试。与特征选择组件类似，此组件支持任何与scikit-learn兼容的自定义方法：分类器必须定义fit()和predict()方法，交叉验证方法必须与scikit-learn的cross_val_score()方法兼容。提供的默认分类器是scikit-learn的支持向量机（SVM）[47]。用户可以通过类参数更改模型、交叉验证方法和执行模式（训练、测试或交叉验证）。此组件的输出是流水线的最终输出，返回训练和交叉验证模式下的拟合模型列表、真实标签和模型预测。

4 系统评估

为了演示AffectEval的有效性和可重用性，我们构建了流水线以复制Schmidt等人[40]和Zhou等人[51]在以下数据集上进行的各种情感分类任务：可穿戴压力和情感数据集（WESAD）[40]和焦虑阶段数据集（APD）[41]。选择这些数据集是因为它们常用于情感计算研究，为我们框架的性能提供了许多比较点。我们使用90%和89%更少的代码行数分别复制了Schmidt等人[40]和Zhou等人[51]的结果。我们还通过在各种信号、特征和机器学习模型上重用相同的流水线结构来演示AffectEval的模块化和可定制性。

4.1 数据集概述

焦虑阶段数据集（APD）。APD包含来自52个受试者的电心图（ECG）、皮肤电活动（EDA）和加速度计（ACC）记录，涵盖了不同的实验室控制情感诱发阶段。这些包括获取基线测量值的休息阶段、即将到来的压力源的预期、暴露于压力源、后压力恢复以及口头反思。研究中使用的两种压力源是公共演讲任务，要求受试者按难度等级排列三个主题，然后准备关于最难主题的三分钟演讲，以及一个虫盒任务，要求受试者从一个小盒子中释放一只假虫（不知道虫是假的）。受试者使用SUDS[1]和LSAS问卷[28]报告他们在每个阶段的焦虑水平。在我们的复制中，我们发现有些受试者没有完成演讲暴露任务或虫盒暴露任务。这些受试者被排除在我们的实验之外。

可穿戴压力和情感数据集（WESAD）。WESAD包含来自15个受试者的ECG、EDA、ACC、EMG、呼吸和温度信号，这些信号是在休息、娱乐、压力和两次冥想阶段收集的。这些信号分别从胸部和手腕设备RespiBAN Professional和Empatica E4收集。使用的是11个幽默视频片段和Trier社会压力测试（TSST）。受试者还在每个阶段后使用PANAS[50]、STAI[32]、SAM[10]和SSSQ[20]问卷报告他们的情感水平。

4.2 AffectEval实现

我们使用AffectEval模块创建情感计算流水线，以复制以前在APD和WESAD上的二元压力检测工作，这些已在AffectEval GitHub仓库中作为Jupyter Notebook文件公开${}^2$。在以下部分中，我们描述了所使用的方法以及如何使用AffectEval实现它们。图4描述了我们为复制这些实验而实现的流水线组件。

Schmidt等人2018年复制。Schmidt等人[40]通过结合娱乐和基线条件形成非压力类别，进行了三类阶段分类（基线 vs. 压力 vs. 娱乐）和二元压力分类。总共评估了所有胸部和手腕传感器模态的16种模态组合。在本文中，我们复制了他们在所有胸部生理模态上的三类和二元分类任务——ECG、EDA、EMG、呼吸（RESP）和温度（TEMP）——因为这套模态在这两项任务中都达到了最高的准确性。接下来，我们简要讨论使用的预处理和特征提取方法。

生理信号使用60秒窗口和0.25秒重叠进行分割。从原始ECG信号中提取了以下特征：心率（HR）、平均HR、HR标准差、心率变异性（HRV）、超低频、低频、高频和超高频的能量。EDA信号首先通过5 Hz低通滤波器过滤后再提取统计特征。接下来，信号被分解为稳态和瞬态成分，也称为皮肤电导水平（SCL）和皮肤电导反应（SCR）。从这些成分中提取了9个附加特征。从EMG信号中提取了两组特征。首先，应用高通滤波器去除直流分量，然后从5秒窗口中计算统计和频域特征。还计算了0到350 Hz频带的谱能量。对于第二组特征，原始EMG信号首先通过50 Hz低通滤波器过滤并分割成60秒窗口。从每个窗口中计算峰值值和统计特征。RESP信号使用截止频率为0.1和0.35 Hz的带通滤波器进行过滤。提取了最大值和最小值以及吸气/呼气特征。从原始TEMP信号中计算了统计特征和斜率。完整的特征列表可以在Schmidt等人[40]中找到。

提取的特征被连接并用作分类的输入。使用的机器学习算法包括决策树（DT）、随机森林（RF）、AdaBoost（AB）、线性判别分析（LDA）和K最近邻（KNN）。模型使用留一法（LOSO）交叉验证方法进行评估，我们使用AffectEval的分类组件实现为自定义交叉验证方法。为了评估模型性能，计算了准确率和微F1分数。

Zhou等人2023年复制。Zhou等人[51]使用ECG和EDA信号在APD、WESAD和持续标注情绪信号（CASE）数据集[43]上进行了二元压力分类。进行了内部和跨语料库实验，以评估生理特征在压力和高唤醒状态下的通用性。在本文中，我们复制了在APD和WESAD上的部分内部语料库实验。

首先使用biosppy和neurokit方法对ECG和EDA信号进行去噪。使用60秒滑动窗口和30秒重叠进行分割。

从ECG信号中提取了以下特征：统计特征（均值、中位数、标准差和方差）、心率、RR间期连续差值平方根（RMSSD）、RR间期标准差（SDNN）、高频（HF）和低频（LF）带功率以及LF/HF比率。从EDA信号中计算了统计特征、平均SCL和SCR率。

压力标签来源于受试者的自我报告。对于APD，使用SUDS问卷响应生成二元压力标签。APD中使用的SUDS版本范围为0到100，中位数50用作固定值来二值化受试者自我报告。SUDS评分50及以上标记为1，低于50的标记为0。对于WESAD，使用6项STAI问卷[32]响应生成标签。动态阈值通过取所有阶段的平均STAI得分计算得出。大于或等于该阈值的STAI得分标记为1，小于该阈值的标记为0。

使用的分类器包括支持向量机、LightGBM、随机森林、XGBoost和上述模型的集成。使用5折交叉验证方法，并报告了准确率和AUC得分作为模型评估指标。

4.3 验证AffectEval

我们通过尽可能复制[40, 51]来验证AffectEval，使用作者概述的相同预处理方法、生理特征、标签和分类模型。为了将现有工作迁移到AffectEval，我们确定了每项工作在其实验中使用的情感计算组件：信号采集、信号预处理、特征提取和分类。接下来，我们确定了每种信号类型的具体预处理和特征提取方法，并在基于AffectEval的流水线中实现它们。在复制[51]时，我们实现了从ECG和EDA信号中提取14个特征的方法；对于[40]，我们实现了从WESAD的生理信号集合中提取总计62个特征的方法。

我们的流水线在所有实验中实现了相同或更高的准确率、AUC得分和F1得分，详见表2。通过成功复制以前的工作[40, 51]，我们展示了AffectEval的有效性和全面性，提供了执行各种多模态情感计算任务的组件和功能。此外，我们的AffectEval实现通过消除所有必要的设置工作，促进了在公平环境下使用APD和WESAD进行未来的发现。

尽管我们的主要目标是展示AffectEval的功能和易用性，但我们在大多数实验中超越了以前的工作，如加粗值所示。模型性能的差异很可能归因于从不同软件库中选择的预处理方法以及未在以前工作中指定的随机种子和模型参数的差异。

4.4 使用AffectEval减少工作量

我们量化了使用AffectEval构建情感识别流水线所减少的手动工作量，通过原始代码行数来衡量。由于原始代码未公开，我们估计了我们为执行信号预处理、特征提取和分类所实现的代码行数减少量。我们关注这些组件，因为获取和格式化数据集以及生成标签的任务无论是否使用AffectEval都是必要的。此外，我们用于这些实验的参数和自定义函数已作为AffectEval的预实现选项包括在内，从而减轻了用户从头实现这些功能的需要。我们将编写的总代码行数与实例化流水线组件所需的代码行数进行比较，排除其实现行为的代码。我们估计AffectEval将复制[40]中的实验所需的编程工作减少了90%，并在[51]中减少了89%，如图5所示。

5 讨论

我们成功复制了以前的工作，突显了AffectEval作为一个创建情感计算流水线框架的贡献。我们展示了AffectEval支持多模态、多领域应用，并量化了减少手动工作量的情况，

实现方式	Schmidt等人	三类分类		二元压力分类
		准确率 (%)	F1分数	准确率	F1分数
	DT	$58.62_{\pm 1.07}$	$55.10_{\pm 0.92}$	$84.18_{\pm 0.20}$	$81.29_{\pm 0.22}$
	RF	$71.37_{\pm 0.58}$	$64.60_{\pm 0.54}$	$92.01_{\pm 0.51}$	$90.44_{\pm 0.66}$
	AB	$80.34_{0.43}$	$72.51_{\pm 0.17}$	$89.76_{\pm 0.48}$	$87.11_{\pm 0.57}$
	LDA	79.35	74.43	93.12	91.47
	KNN	56.14	48.70	81.05	77.27
	DT	${81.68}_{\pm 3.25}$	${80.94}_{\pm 4.38}$	${95.48}_{\pm 1.57}$	${93.94}_{\pm 2.01}$
	RF	${90.52}_{\pm 2.98}$	${91.1}_{\pm 2.18}$	${95.50}_{\pm 1.07}$	${95.18}_{\pm 1.71}$
	AB	${77.60}_{\pm 4.10}$	${76.56}_{\pm 4.13}$	${93.10}_{\pm 0.90}$	${93.07}_{\pm 0.82}$
	LDA	$69.83_{\pm 2.61}$	$66.5_{\pm 2.69}$	$83.61_{\pm 3.19}$	$82.58_{\pm 3.80}$
	KNN	${76.73}_{\pm 3.73}$	${74.51}_{\pm 4.08}$	${87.29}_{\pm 5.14}$	${86.76}_{\pm 5.75}$
实现方式	Zhou等人	APD		WESAD
		准确率 (%)	AUC得分	准确率 (%)	AUC得分
	SVM	54.9	49.8	86.0	72.0
	LightGBM	54.7	52.9	83.6	72.0
	XGBoost	55.3	54.0	84.5	73.5
	RF	55.3	54.0	84.2	77.5
	Ensemble	56.1	52.8	99.0	96.9
	SVM	${79.17}_{\pm 0.36}$	${59.33}_{\pm 4.77}$	$57.16_{\pm 1.25}$	$61.46_{\pm 4.91}$
	LightGBM	${88.57}_{\pm 1.60}$	${89.91}_{\pm 2.22}$	${96.54}_{\pm 1.97}$	${99.58}_{\pm 0.43}$
	XGBoost	${87.78}_{\pm 1.25}$	${89.76}_{\pm 2.30}$	${95.16}_{\pm 2.06}$	${98.46}_{\pm 1.60}$
	RF	${86.99}_{\pm 1.25}$	${91.19}_{\pm 1.19}$	${95.28}_{\pm 2.07}$	${99.25}_{\pm 0.57}$
	Ensemble	86.29	67.52	86.29	67.53

表2：AffectEval的性能与Schmidt等人[40]和Zhou等人[51]实现的比较。缩写：DT = 决策树，RF = 随机森林，AB = AdaBoost DT，LDA = 线性判别分析，KNN = K-近邻，SVM = 支持向量机。集成指的是对SVM、LightGBM、XGBoost和RF进行等权重平均集成。模型性能的差异很可能归因于使用来自不同库的预处理和特征提取方法（如biosppy或neurokit），以及以前工作中未指定的模型参数。

图5：流水线实现所需的手动工作量对比。

5.1 框架对比

现有的情感计算框架，metaFERA [35] 和 AffectToolbox [34] 并未通过复制以前的工作或跨多种情感计算任务来评估。因此，没有对比点来展示它们的易用性或多模态和多领域能力。

为了验证metaFERA，作者创建了一个基于EDA的二元情感检测框架，用于高唤醒与低唤醒的区分。然而，不清楚基于metaFERA的流水线相比从头开始实现这样的EDA框架能减少多少手动工作量。此外，metaFERA不提供预实现行为，需要用户定义组件行为。因此，metaFERA可能比AffectEval具有更高的手动开销。虽然metaFERA是模块化和可定制的，但其在减少手动工作量和创建多领域应用方面的有效性尚不清楚。
AffectToolbox的主要目标是通过消除任何编程知识的需求来促进情感计算领域的协作环境。它提供了一个图形用户界面（GUI）来构建从视听数据流中进行愉悦、唤醒和支配分类的情感计算流水线。尽管AffectToolbox有效减少了创建此类流水线所涉及的手动工作，但由于其对多模态信号和情感识别能力的支持有限，它不如AffectEval全面。

5.2 模块化和可定制性

相比之下，AffectEval的模块化允许在多模态、多领域情感计算应用中重用流水线结构，而各个组件可以自定义以执行特定应用的任务。我们对Schmidt等人和Zhou等人进行的实验进行了复制，重用了信号预处理、特征提取、标签生成和分类组件。我们通过更改每个组件的参数，自定义这些组件以在实验中使用不同的信号预处理技术、特征提取方法、情感标签和分类模型。切换组件和更改其行为的简便性还使我们能够设置一个公平的环境来比较几种分类模型的性能。我们成功复制了Schmidt等人和Zhou等人实验的结果，这表明AffectEval有效地减轻了高手动工作量和流水线之间的冗余代码问题，同时保持灵活性，支持各种信号和情感计算任务。

5.3 局限性

通过开发和验证AffectEval，我们确定了一些剩余的局限性，并建议了未来改进的方向。

AffectEval主要支持时间序列生理信号的使用，缺乏对图像、文本和音频数据的预定义功能。由于它们在情感检测中的日益普及和高性能，我们优先支持时间序列生理信号。然而，面部表情识别、身体姿态、音频和文本数据是非侵入式的数据流，也常用于情感计算[49]。正如第3.2节所述，AffectEval的能力可以轻松扩展以支持其他类型的信号。

AffectEval不支持实时情感识别或分布式计算。这限制了基于AffectEval的流水线在线情感识别任务中的适用性。此外，信号预处理、特征提取和模型训练等组件无法并行化，限制了基于AffectEval的流水线的计算和时间效率。

这些局限性可以通过扩展AffectEval的能力和预实现行为列表来解决。具体来说，我们计划添加额外的预处理方法以支持视听和文本数据。此外，可以创建基于云或客户端-服务器的包装器，使AffectEval支持分布式和实时处理能力。最后，AffectEval可以通过添加类似[34]的GUI来增强，以进一步提高其可用性和包容性，通过消除编程知识需求来实现。

6 结论

本文介绍了AffectEval，这是一种全面的框架，用于支持情感计算流水线的开发。它解决了当前情感计算应用中使用的软件库和工具的关键不足，减少了设置端到端流水线所需的努力。AffectEval通过先前的工作得到了验证，展示了减少手动工作的同时实现了相同或更高的情感识别性能。AffectEval已公开发布，旨在促进未来的情感计算研究，并为社区贡献创建开源存储库。

参考文献

[1] 2014. 146 SUDS: 主观单位压力量表。见《并发治疗PTSD和物质使用障碍使用延长暴露（COPE）：患者手册》。牛津大学出版社。https://doi.org/10.1093/med:psych/9780199334513.005.0013 arXiv:https://academic.oup.com/book/0/chapter/140343593/chapter-ag-pdf/45093913/book_1351_section_140343593.ag.pdf
[2] Martin Abadi, Ashish Agarwal, Paul Barham, Eugene Brevdo, Zhifeng Chen, Craig Citro, Greg S. Corrado, Andy Davis, Jeffrey Dean, Matthieu Devin, Sanjay Ghemawat, Ian Goodfellow, Andrew Harp, Geoffrey Irving, Michael Isard, Yangqing Jia, Rafal Jozefowicz, Lukasz Kaiser, Manjunath Kudlur, Josh Levenberg, Dandelion Mané, Rajat Monga, Sherry Moore, Derek Murray, Chris Olah, Mike Schuster, Jonathon Shlens, Benoit Steiner, Ilya Sutskever, Kunal Talwar, Paul Tucker, Vincent Vanhoucke, Vijay Vasudevan, Fernanda Viégas, Oriol Vinyals, Pete Warden, Martin Wattenberg, Martin Wicks, Yuan Yu, and Xiaoqiang Zheng. 2015. TensorFlow: 在异构系统上的大规模机器学习。https://www.tensorflow.org/ 软件可从tensorflow.org获取。
[3] Renan Vinicios Aranha, Cleber Gimenez Corrêa, and Fatima L. S. Nunes. 2021. 使用情感计算调整软件：系统综述。IEEE情感计算汇刊 12, 4 (2021), 883-899. https://doi.org/10.1109/ TAFFC.2019.2902379.
[4] Rawin Assabumrangrat, Soravitt Sangnark, Thananya Charoenpattarawut, Wipamus Polpakdee, Thapamun Sudhawiyangkul, Ekkarat Boonchieng, and Therrawit Wilaiprasitporn. 2022. 泛在情感计算：综述。IEEE传感器杂志 22, 3 (2022), 1867-1881. https://doi.org/10.1109/JSEN.2021.3138269
[5] Deger Ayata, Yusuf Yaslan, and Mustafa Kamaşak. 2017. 基于皮肤电反应的情绪识别：机器学习算法和特征提取方法的比较。IU-电气与电子工程学报 17, 1 (2017), $3147-3156$.
[6] Dario Bertero, Farhad Bin Siddique, Chien-Sheng Wu, Yan Wan, Ricky Ho Yin Chan, and Pascale Fang. 2016. 用于交互对话系统的实时语音情绪和情感识别。在《2016年经验方法在自然语言处理会议论文集》中，Jian Su, Kevin Duh, 和 Xavier Carreras (编)。计算语言学协会，德克萨斯州奥斯汀，1042-1047. https://doi.org/10.18653/v1/D16-1110
[7] Patricia J. Bota, Chen Wang, Ana L. N. Fred, 和 Hugo Plácido Da Silva. 2019. 利用机器学习和生理信号进行情绪识别的回顾、当前挑战和未来可能性。IEEE Access 7 (2019), 140990-141020. https://doi.org/10.1109/ACCESS.2019.2944001
[8] Jason J. Braithwaite, Derrick G Watson, Robert Jones, 和 Mickey Rowe. 2015. https://www.birmingham.ac.uk/Documents/college-les/psych/saal/guide-electrodermal-activity.pdf
[9] Leo Breiman. 2001. 随机森林。机器学习 45, 1 (2001), 5-32. https://doi.org/10.1023/a:1010933404324
[10] Teah-Marie Bynion 和 Matthew T. Feldner. 2017. 自我评估人形图。Springer International Publishing, Cham, 1-3. https://doi.org/10.1007/978-3-319-28099-8_77-1
[11] Carlos Carreiras, Ana Priscila Alves, André Lourenço, Filipe Canento, Hugo Silva, Ana Fred, et al. 2015-. BioSPPy: Python中的生物信号处理。https://github.com/PIA-Group/BioSPPy/ [在线；访问 +today+].
[12] Zi Cheng, Lin Shu, Jinyan Xie, 和 C. L. Philip Chen. 2017. 一种新型ECG基实时检测可穿戴应用中负面情绪的方法。在2017年安全、模式分析和控制国际会议（SPAC）上。296-301. https://doi.org/10.1109/SPAC.2017.8304293
[13] Antonio B Damasio, Daniel Tranel, 和 Hanna C Damasio. 1991. 躯体标记和行为指导：理论和初步测试。额叶功能与功能障碍（1991年11月），217-229. https://doi.org/10.1093/oso/ 9780195062847.003.0011
[14] Juan Antonio Dominguez-Jiménez, Kiara Coralia Campo-Landines, Juan C Martinez-Santos, Enrique J Delahoz, 和 Sonia H Contreras-Ortiz. 2020.
一种用于从生理信号中识别情绪的机器学习模型。生物医学信号处理与控制 55 (2020), 101646.
[15] Maria Egger, Matthias Ley, 和 Sten Hanke. 2019. 从生理信号分析中识别情绪：综述。电子笔记理论计算机科学 343 (2019), 35-55. https://doi.org/10.1016/j.entcs.2019.04.009 AmI, 2018欧洲环境智能会议的会议记录…
[16] F.J. Ferri, P. Pudil, M. Hatef, 和 J. Kittler. 1994. 大规模特征选择技术的比较研究？ “这项工作由SERC资助GR/E 97549支持。第一位作者还获得了西班牙MEC PPPZ 73546684的FPI资助。” 在Eduard S. Gelsama 和 Lavern S. Kanal (Eds.) 的《实践中的模式识别》第四卷中：机器智能和模式识别，第16卷。North-Holland, 403-415. https://doi.org/10.1016/B978-0-444-81892-8.50040-7
[17] Gorges Giannakakis, Dimitris Grigoriadis, Katerina Giannakaki, Olympia Simantiraki, Alexandros Roniotis, 和 Manolis Tuknakis. 2022. 使用生物信号检测心理压力的综述。IEEE情感计算汇刊 15, 1 (2022), 440-460. https://doi.org/10.1109/TAFFC.2019.2927337
[18] Pedro Gomes. 2018-. pyHRV - 开源Python心率变异性工具箱。https://github.com/P Gomes92/hrv-toolkit/ [在线: 访问 <今天>].
[19] Shalom Greene, Himanshu Thapliyal, 和 Allison Cahan-Holt. 2016. 情感计算用于压力检测的调查：评估技术以更好地进行健康检测。IEEE消费电子杂志 5, 4 (2016), 44-56. https://doi.org/10.1109/MCE.2016.2590178
[20] William S. Helton. 2004. 短期压力状态问卷。PsycTESTS数据集 (2004). https://doi.org/10.1037/037758-000
[21] The MathWorks Inc. 2022. MATLAB版本：9.15.0 (R2022b). 马萨诸塞州Natick, 美国. https://www.mathworks.com
[22] Yang Jiang, Ziyang Zhang, 和 Xiao Sun. 2023. NMDA：用于抑郁和焦虑检测的多模态数据集。在模式识别、计算机视觉和图像处理，ICPR 2022国际研讨会和挑战赛：加拿大蒙特利尔，QC，2022年8月21-25日，会议录，第一部分（加拿大蒙特利尔，QC）。Springer-Verlag, 柏林，海德堡，691-702. https://doi.org/10.1007/978-3-031-75660-3_49
[23] Ian T. Jolliffe 和 Jorge Cadima. 2016. 主成分分析：回顾与最新发展。皇家学会哲学交易A：数学、物理和工程科学 374, 2065 (2016年4月)，20150202. https://doi.org/10.1098/rsta.2015.0202
[24] Muhammad Khateeb, Syed Muhammad Anwar, 和 Majdi Alnowami. 2021. 使用DEAP数据集的多域特征融合进行情感分类。IEEE Access 9 (2021), 12134-12142. https://doi.org/10.1109/ACCESS.2021.3051281
[25] Sander Koelstra, Christian Mühl, Mohammad Soleymani, Jong-Seok Lee, Ashkan Yazdani, Touradj Ebrahimi, Thierry Pun, Anton Nijholt, 和 Ioannis Patras. 2012. DEAP：用于使用生理信号进行情感分析的数据库。IEEE情感计算汇刊 3, 1 (2012), 18-31. https://doi.org/10.1109/ TAFFC.2011.15
[26] Sylvia D Kroilig. 2010. 情绪中的自主神经系统活动：综述。生物心理学 84, 3 (2010), 394-421.
[27] Radhika Kuttala, Ramanathan Subramanian, 和 Venkata Ramana Murthy Oruganti. 2023. 多模态分层CNN特征融合用于压力检测。IEEE Access 11 (2023), 6867-6878. https://doi.org/10.1109/ACCESS.2023.3237545
[28] M. R. Liebowitz. 1987. Liebowitz社交焦虑量表（LSAS）。https://psycnet.apa.org/doiLanding?doi=10.1037%2F07671-000
[29] Yuanyuan Liu, Ke Wang, Lin Wei, Jingying Chen, Yifing Zhan, Dapeng Tao, 和 Zhe Chen. 2024. 医疗保健的情感计算：近期趋势、应用、挑战及超越。arXiv:2402.13589 [cs.HC] https://arxiv.org/abs/ 2402.13589
[30] Andrej Luneski, Panagiotis D Bamidis, 和 Madgy Hitoglou-Antoniadou. 2008. 情感计算与医学信息学：情感感知医疗应用的现状。Stud. Health Technol. Inform. 136 (2008), 517-522.
[31] Dominique Makowski, Tam Pham, Zen J. Lau, Jan C. Brammer, François Lespinasse, Hung Pham, Christopher Schölzel, 和 S. H. Annabel Chen. 2021. NeuroKit2：一个用于神经生理信号处理的Python工具箱。行为研究方法 53, 4 (2021年2月), 168-1696. https://doi.org/10.3758/s13428-020-03316-y
[32] Theresa M Marteau 和 Hilary Bekker. 1992. Spielberger状态特质焦虑量表（STAI）状态量表六项短表的发展。英国临床心理学杂志 31, 3 (1992), 301-306.
[33] Wes McKinney. 2010. 用于统计计算的Python数据结构。在第九届Python in Science Conference会议录中，Stefan van der Walt 和 Jarrod Millman (编)，51 - 56.
[34] Silvan Mertes, Dominik Schiller, Michael Dietz, Elisabeth André, 和 Florian Lingenfeber. 2024. AffectToolbox：每个人的情感分析。arXiv:2402.15195 [cs.HC] https://arxiv.org/abs/2402.15195
[35] João Oliveira, Soraja M. Alarcão, Teresa Chambel, 和 Manuel J. Fonseca. 2023. MetaFERA：用于创建生理信号情感识别框架的元框架。多媒体工具与应用 83, 4 (2023年6月), $9785-9815$. https://doi.org/10.1007/s11042-023-15249-5
[36] Adan Paszke, Sam Gross, Francisco Massa, Adam Lezer, James Bradbury, Gregory Chanan, Trevor Killeen, Zeming Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison, Andreas Kopf, Edward Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner, Lu Fang, Junjie Bai, 和 Soumith Chintala. 2019. PyTorch：一种命令式风格、高性能的深度学习库。在H. Wallach, H. Larochelle, A. Beygelsimer, F. d’Alcke-Buc, E. Fox, 和 R. Garnett (编) 的《神经信息处理系统进展32》中。Curran Associates, Inc., 8024-8035. http://papers.neurips.cc/paper/9015-pytorch-an-imperative-style-high-performance-deep-learning-library.pdf
[37] F. Pedregosa, G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M. Blondel, P. Peritenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher, M. Perrot, 和 E. Duchesnay. 2011. Scikit-learn：Python中的机器学习。机器学习研究杂志 12 (2011), 2825-2830.
[38] James Russell. 1980. 情感的环形模型。人格与社会心理学杂志 39 (1980年12月), 1161-1178. https://doi.org/10.1037/36077714
[39] Stanislaw Saganowski, Bartosz Perz, Adam G. Polak, 和 Przemyslaw Kazienko. 2023. 使用可穿戴设备的生理信号进行日常生活中情感识别：系统文献综述。IEEE情感计算汇刊 14, 3 (2023), 1876-1897. https://doi.org/10.1109/TAFFC.2022.3176135
[40] Philip Schmidt, Attila Reiss, Robert Duerichen, Claus Marberger, 和 Kristof Van Laerhoven. 2018. 引入WESAD，一个用于可穿戴压力和情感检测的多模态数据集。Association for Computing Machinery, New York, NY, USA. https://doi.org/10.1145/3242969.3242985
[41] Hashmi Senaratne, Levin Kuhlmann, Kirsten Ellis, Glenn Melvin, 和 Sharon Oviatt. 2021. 一个用于焦虑时间阶段特征估计器的多模态数据集和评估。Association for Computing Machinery, New York, NY, USA. https://doi.org/10.1145/3462244.3479900
[42] Md Mobahir Shandhi, Peter J. Cho, Ali R. Rophanizad, Karnika Singh, Will Wang, Oana M. Enache, Amanda Stern, Rami Shuhi, Bilge Tatar, Sean Fiscus, 和 et al. 2022. 通过利用商业可穿戴设备数据进行智能分配诊断测试的方法：COVID-19案例研究。npj数字医学 5, 1 (2022年9月). https://doi.org/10.1038/s41746-022-00672-z
[43] Kuran Sharma, Claudio Castellini, Egon L Van Den Broek, Alin Albu-Schaeffer, 和 Friedhelm Schwenker. 2019. 一个用于情感分析的连续情感注释和生理信号数据集。Scientific data 6, 1 (2019), 196.
[44] Erin Smith, Eric A. Storch, Ipsit Vahia, Stephen T. Wong, Helen Lavretsky, Jeffrey L. Cummings, 和 Harris A. Eyre. 2021. 晚期情绪和认知障碍的情感计算。Frontiers in Psychiatry 12 (2021年12月). https://doi.org/10. 3389/fpsyt.2021.782183
[45] Paul van Gent, Haneen Farah, Nicole Nes, 和 B. Arem. 2018. 心率分析用于人为因素：开发和验证用于嘈杂自然主义心率数据的开源工具包。
[46] Guido Van Rossum 和 Fred L Drake Jr. 1995. Python参考手册。阿姆斯特丹Centrum voor Wiskunde en Informatica。
[47] Vladimir Vapnik. 2006. 基于经验数据的依赖关系估计。Springer Science & Business Media。
[48] Johannes Wagner, Elisabeth André, 和 Frank Jung. 2009. 智能传感器集成：用于实时多模态情感识别的框架。在2009年第三届情感计算与智能交互及其工作坊国际会议，1-8。https://doi.org/10.1109/ACIL2009.5349571
[49] Yan Wang, Wei Song, Wei Tao, Antonio Liotta, Dawei Yang, Xinlei Lu, Shuyong Gao, Yixuan Sun, Weifeng Ge, Wei Zhang, 和 Wenqiang Zhang. 2022. 情感计算的系统综述：情感模型、数据库和最新进展。arXiv:2203.06935 [cs.MM] https://arxiv.org/abs/2203.06935
[50] David Watson, Lee Anna Clark, 和 Auke Tellegen. 1988. 积极和消极情感简短测量表的发展与验证：PANAS量表。人格与社会心理学杂志 54, 6 (1988), 1063-1070. https://doi.org/10.1037/0022-3514.54.6.1063
[51] Emily Zhou, Mohammad Soleymani, 和 Maja J. Matarić. 2023. 探讨焦虑生理特征的通用性。在2023年IEEE生物信息学与生物医学国际会议（BIBM）。4848-4855. https://doi.org/10.1109/BIBM58861.2023.10385292
[52] Jing Zhu, Ying Wang, Rong La, Jiawei Zhan, Junhong Niu, Shuai Zeng, 和 Xiping Hu. 2019. 基于EEG-EM同步采集网络的轻度抑郁症多模态识别。IEEE Access 7 (2019), 28196-28210. https://doi.org/10.1109/ACCESS.2019.2901950
[53] Chiara Zucco, Barbara Calabrese, 和 Mario Cannataro. 2017. 情感分析和情感计算用于抑郁症监测。在2017年IEEE生物信息学和生物医学国际会议（BIBM）。1988-1995. https://doi.org/10.1109/BIBM.2017.8217966

参考论文：https://arxiv.org/pdf/2504.21184