情感识别系统融合方案详解

1. 融合策略概述

基本理念

• 目的：利用多模态互补信息
• 重要性：视频情感识别的关键阶段
• 应用场景：视频情感识别系统

两大类融合方法

1. 决策级（后期）融合

   • DWF方法
   • RF方法

2. 模型级融合

   • 特征拼接
   • 注意力机制

2. 模型级融合详解

特征处理

• 输入来源：
  • 音频模型特征
  • 视频模型特征

注意力机制

1. 自注意力机制：

   • 单模态内部关注
   • 特征自适应加权

2. 交叉注意力机制：

   • 跨模态信息交互
   • 模态间特征对齐

3. 决策级融合方案

A. Dirichlet随机权重融合(DWF)

1. 基本原理：

   • Dirichlet分布采样
   • 权重矩阵生成
   • 性能驱动选择

2. 实现步骤：

   • 生成大量权重矩阵
   • 每个矩阵包含模型-类别权重
   • 基于任务指标选择最优矩阵
   </