深度学习多模态融合_基于深度学习的多模态数据融合研究

引用：Gao J, Li P, Chen Z, Zhang J. A Survey on Deep Learning for Multimodal Data Fusion. Neural Comput. 2020;32(5):829-864. doi:10.1162/necoa01273

摘要：

异构网络的广泛部署产生了大量具有高容量、高多样性、高速度和高准确性特征的数据。这些数据称为多模态大数据，包含丰富的模态和跨模态的信息，因此这些数据对传统的数据融合方法提出了巨大的挑战。在这篇论文中，我们提出了一些开创性的深度学习模型来融合这些多模态的大数据。随着对多模态大数据的不断探索，仍然有一些挑战需要解决。因此，本文将对多模态数据融合的深度学习进行一次调查，为读者提供一个多模态的深度学习融合方法的基础知识，并为他们提供新的深度学习多模态数据融合技术。具体来说，本文总结了广泛使用的代表性架构，这是理解多模态深度学习的基础；然后总结了当前开创性的多模态数据融合深度学习模型；最后，本文描述了多模态数据融合深度学习模型中的一些挑战和未来的发展方向。

关键字：数据融合；脑电图(EEG)；功能磁共振成像(fMRI)

1、背景

最近，许多异构网络已经成功地部署在低层和高层应用程序中，包括物联网࿰