多模态数据融合

1.多模态数据含义：
狭义：多媒体数据，如文本，音频，视频
广义：对原始数据集采用不同的特征提取方法得到的不同特征组合

2.数据融合：
整合从多模态数据中得到的补充信息，以提升模型分类性能，被视为多模态机器学习方面的五大核心技术挑战之一

• fusion,
• representation,
• translation,
• alignment,
• co-learning

3.数据融合：分类一

1. 模内融合
   多核学习，两个子模型：
   MLP（multilayer perceptron）多层感知器、attention注意力机制。

2. 模间融合
   三种融合策略

策略	含义
早期融合	特征层面
晚期融合	决策层面
基于模型的融合	模型优化过程中

4.数据融合：分类二

1. 传统融合：在一个低纬度的原始空间进行融合，融合得到的特征表征能力弱。大多注重模间融合，忽视模内融合。
   缺点：忽视了特征间的关联信息、忽视了高阶信息<