概念
模态(Modality) 事物发生的方式
主要任务
Representation
学习将多模态数据整合到一个特征表示中。其中，通过利用多模态之间的互补性，剔除模态间的冗余性，从而学习到更好的特征表示。（如下例子）
展现方式主要如下：
joint联合在一个展现空间中
coordinated，不同模态展现在不同空间中，但空间之间相互约束
对齐
将多模态的元素对齐
翻译
将某种模态的数据转化成另一种模态
融合（Multimodal Fusion）
将多种模态信息联合，实现预测效果的提升（主要是通过多模态的互补来消除不确定性和歧义）
模型无关的方法
用到的模型方法：
- DNN
- 核函数方法
- 图方法
难点主要包括如何判断每个模态的置信水平、如何判断模态间的相关性、如何对多模态的特征信息进行降维以及如何对非同步采集的多模态数据进行配准等。
协同学习（co-learning)
利用一个资源丰富的模态信息辅助另一个资源相对少的模态进行学习。如迁移学习。
此外还有协同训练，它负责研究如何在多模态数据中将少量的标注进行扩充，得到更多的标注信息。
8257
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
