动态情感识别模型详细解析

1. 基本概念

情感的时序性质

• 持续性：情感会持续一段时间
• 多模态表现：
  • 面部表情变化
  • 声音特征变化
  • 身体动作变化

时序信息聚合方法演进

1. 传统方法：

   • 函数统计聚合
   • 时间窗口特征计算

2. 深度学习方法：

   • 循环神经网络(RNN)
   • Transformer架构
   • 发展趋势：从RNN向Transformer迁移

2. Transformer基动态模型架构

主要组件

1. 静态特征提取器：

   • 预训练处理
   • AffWild2数据集微调
   • 特征维度：256维/帧
   • 权重冻结操作

2. 时序处理部分：

   • 三个连续Transformer编码器层
   • 注意力头数量：8
   • Dropout率：0.1
   • 位置编码应用

3. 决策层：

   • 分类任务：多类别输出
   • 回归任务：Tanh激活函数

3. 统计基模型架构（替代方案）

KELM模型设计

<