多模态机器学习

Multimodal Learning

• 多源——来自同一数据源，比如社交网络包括照片 check-in数据等
• 多模态——来自不同领域的数据

异构多模态数据融合、多视角

多模态数据是指对于一个待描述事物，通过不同的方法或角度收集到的数据。我们把收集这些数据的每一个方法或视角称之为一个模态（Modality）。 例如，在多模态的人脸识别中，多模态数据有可能由人脸的 2D 图像和 3D 形状模型这两个模态构成；在多模态的视频挖掘中，视频可以被分解为字幕、音频和图像等模态；网页中的文字和图片也可本看作不同的模态，它们从不同的角度描述了网页所要表达的信息。 在多模态数据中，每个模态均为其余的模态提供了一定的信息，既模态之间存在这一定的关联性。多模态数据挖掘与传统数据挖掘的区别在于前者在进行挖掘工作时将综合利用到多个模态之间的信息，挖掘它们之间的潜在联系。

人和动物通过视、听、说等途径感知和学习，本质上是多模态学习。近些年，由于深度学习的发展，多模态机器学习进一步成为人工智能的研究热点。本文简单介绍多模态机器学习的内容和挑战，部分摘于CVPR 2016 和ACL 2016的Tutorial Multimodal Learning and Reasoning [1], Tutorial on Multimodal Machine Learning [2]。
人在生活中的感知是多元的，包括视觉、听觉、触觉、味觉、嗅觉等等。任何感知能力的缺失都有可能造成智力或能力的异常。

当然，现在多模态机器学习还存在很多挑战。包括多维度数据的各自表示、融合、对齐、协同学习，还有待学术理论的丰富和完善，但应用前景非常广泛。