多模态 Multi-Module的创新点

最近在改论文

用了多模态

记得最早找创新点时

记录了关于多模态相关的一些值得深入研究的方向

记录于此

希望分享交流

*注：多模态不止多信息源；

除了不同的感知模态（如视觉、听觉、触觉等）之外，多模态还可以涉及到不同的数据表示、不同的特征空间、不同的数据类型等。

在更广义的理解中，多模态可以包括以下几个方面的内容：

1. 不同的感知模态：这是最常见的多模态定义，涉及到不同的感官输入，如视觉、听觉、触觉等。

2. 不同的数据表示或特征空间：即使是同一种感知模态，也可以有不同的数据表示方式或特征空间。比如，在视觉领域，可以使用图像像素值作为一种表示，也可以使用深度学习中的特征向量作为另一种表示。

3. 不同的数据类型：除了传统的数据类型（如图像、文本、声音等），还可以涉及到其他类型的数据，如时间序列数据、结构化数据、空间数据等。

4. 不同的模态间关系：多模态系统中的不同信息源之间可能存在复杂的关系，可以是互补的、冗余的、竞争的等各种关系。

多模态融合的渐进式融合

多模态学习中的正交序列融合

视听融合中多任务学习的集成框架

量化半监督多模态学习中的交互

基于Hypergraph的自监督多模态表示学习

可扩展的多模态融合

多模态嵌入式问答

从多任务混合视角看待缺失模态

多模态学习单模态偏差理论

交替单模态适应

深度平衡方法

多模态攻