动态情感识别模型的概念

动态情感识别模型的概念

在情感识别中，我们通常需要分析面部、声音等多种信息源，并且情感在表达上是有时间性的，也就是在一定时间内会有变化。举例来说，一个人可能在几秒内从高兴变为平静或者从平静变为生气，因此，为了更好地识别情感，必须考虑这种“动态”变化。

动态情感识别模型的结构

我们构建的模型结构分为两个部分：

1. 静态特征提取器：负责从每一帧图像中提取情感特征。
2. 时间聚合模块：处理连续的帧，将这些特征整合起来，形成对一段时间内情感的完整判断。

在这个模型中，静态特征提取器会在预训练的数据集上训练好，能够识别图像中的情感特征。之后，时间聚合模块会处理多帧的特征，这样模型就可以判断整段时间内的情感变化，而不仅仅是单帧的情感。

不同的时间聚合方法

1. 函数聚合方法：我们可以在一段时间内（比如2秒）计算一些统计值，比如平均值、最小值、最大值等，将这些统计特征用于情感判断。这种方法简单，但不能很好地捕捉情感的细微变化。

2. 循环神经网络（RNN）：RNN 在 FER（情感识别）领域被广泛应用，它可以依次处理序列数据，因此特别适合于处理时间序列，能够记住前面的信息来影响后面的判断。

3. 基于 Transformer 的模型：近年来，Transformer 成为了更受欢迎的时间聚合方法，尤其在情感识别中。Transformer 采用“自注意力机制”，即它会根据每一帧的特征来判断其与其他帧的关系，可以更好地理解情感在时间上的变化。

本文中的模型设计

在本研究中，选择了基于 Transformer 的方法作为时间聚合的主要手段。具体来说，这个动态情感识别模型包含以下几个部分：

1. 静态特征提取器：先在多个情感识别数据集上预训练，微调后再固定（冻结）在 AffWild2 数据集的帧上进行微调，以确保它在训练动态模型时不会改变。

2. Transformer 层：静态特征提取器每帧输出256维特征，这些特征输入到3层 Transformer 编码器中。每层 Transformer 有8个头（注意力机制的参数），dropout 设置为0.1（即有10%的随机节点被忽略，以防止过拟合）。

3. 位置编码：在 Transformer 中添加位置编码，用来让模型“知道”特征的时间顺序，比如帧与帧之间的时间关系。

统计方法对比

作为对比，研究人员还设计了一种较简单的基于统计的方法：

• 通过一个固定的2秒窗口（非重叠）来计算每个窗口内的平均值、最小值和最大值。
• 利用核极限学习机（KELM）来处