仿真的数据能否用来深度学习_基于深度学习的多模态数据融合研究

引用：Gao J, Li P, Chen Z, Zhang J. A Survey on Deep Learning for Multimodal Data Fusion. Neural Comput. 2020;32(5):829-864. doi:10.1162/necoa01273

摘要：

异构网络的广泛部署产生了大量具有高容量、高多样性、高速度和高准确性特征的数据。这些数据称为多模态大数据，包含丰富的模态和跨模态的信息，因此这些数据对传统的数据融合方法提出了巨大的挑战。在这篇论文中，我们提出了一些开创性的深度学习模型来融合这些多模态的大数据。随着对多模态大数据的不断探索，仍然有一些挑战需要解决。因此，本文将对多模态数据融合的深度学习进行一次调查，为读者提供一个多模态的深度学习融合方法的基础知识，并为他们提供新的深度学习多模态数据融合技术。具体来说，本文总结了广泛使用的代表性架构，这是理解多模态深度学习的基础；然后总结了当前开创性的多模态数据融合深度学习模型；最后，本文描述了多模态数据融合深度学习模型中的一些挑战和未来的发展方向。

关键字：数据融合；脑电图(EEG)；功能磁共振成像(fMRI)

1、背景

最近，许多异构网络已经成功地部署在低层和高层应用程序中，包括物联网，车联网和社交网络。随着异构网络的广泛部署，以前所未有的速度生成和收集数据越来越多。这些数据通常被称为大数据，他们具有高容量、高多样性、高速度和高准确性等特征。同样，这些包含结构化、半结构化和非结构化数据的庞大数据是多模态/多模态的。并且，不同来源、类型和分布的每个模态都包含特定于模态的信息。

多模态数据融合是多模态数据挖掘的一种基本方法，旨在将不同分布、来源和类型的数据集成到一个全局空间中，在该空间中可以以统一的方式表示模式性和跨模式性。通过利用特定模态的信息，它可以提供比单个模态更丰富的信息。过去，人们提出了一些多模态数据融合方法来探索模态之间的互补和跨模态信息。例如，Kettenring 提出了关于线性多式联运关系和多式模态泛化信息的多模态典型相关分析。Martinez-Montes、Valdes-Sosa、Miwakeichi、Goldman 和 Cohen 提出了关于多个变量的偏最小二乘模型线性关系，并从多源数据集中发现了这些变量。Groves、Beckmann、Smith 和 Woolrich 提出了一种多模态独立成分分析，该分析是一种使用贝叶斯框架结合每种不同模态性的独立变量的概率模型。这些多模式数据融合方法受限于高容量、高速度、高多样性和高准确性的大型多模态数据，因为这些基于浅层特征表示的方法无法捕获多模态数据中固有的内部结构和外部关系。因此，完全挖掘多模态数据中的模态需要新的多模态计算技术。

与传统大数据类似，多模态大数据具有高容量、多样性、速度和准确性。但是，多模态大数据的多样性比其更为突出。特别是，多模态大数据由几种模态组成，这些模态包含与每种模态无关的分布所涉及的相同事物的部分描述，模态之间也存在复杂的相关性，隐藏在模态和跨模态中的融合表示的完整模型可以进一步提高各种多模态应用程序的性能。

深度学习是一种分层的计算模型，它可以学习数据的多层抽象表示。它使用反向传播算法来训练其参数，该参数可以将原始输入转换为有效的特定于任务的表示形式。目前常用的深度学习方法有：卷积神经网络(CNN)、递归神经网络(RNN)和生成对抗网络(GAN)。这些深度学习方法基于有监督和无监督的训练策略，在生成性和分类性任务中都取得了很大的进步。在多模态数据融合领域中也有一些开创性的深度学习模型，例如跨模式检索、图像注释和辅助诊断。尽管多模态数据融合深度学习模型取得了一些进展，但仍处于初步阶段。因此，我们回顾了代表性的多模态深度学习模型，以鼓励生成更多的多模态数据融合深度学习的新范例。

最近，从广泛部署的异构网络中生成了大量的多模态大数据。传统的多模态数据融合方法无法正确地捕获多模态大数据的模态表示和跨模态互补相关性，因为它们是无法学习数据固有表示的浅层模型。受深度学习方法启发的一些开创性工作提出探索多模态数据的融合。这些基于深度学习的多模态方法在各个领域都取得了一些进展，包括语言翻译、图像注释和医疗助手诊断。但是，用于多模态最近，从广泛部署的异构网络中生成了大量的多模式大数据。传统的多模态数据融合方法无法正确地捕获多模态大数据的模态表示和交叉模态互补相关性，因为它们是无法学习数据固有表示的浅层模型。受深度学习方法启发的一些开创性工作提出探索多模式数据的融合。这些基于深度学习的多模式方法在各个领域都取得了一些进展，包括语言翻译，图像注释和医疗助手诊断。但是，用于多模式数据融合的深度学习的研究仍处于初级阶段，而且目前尚无任何论文总结了多模态深度学习模型的工作。因此，此论文是有关基于深度学习的多模态数据融合的综述，这篇综述将为读者提供多模态深度学习融合方法的基础，并激发新的多模态深度学习融合方法。此论文总结了具有代表性的体系结构-DBN，SAE，CNN 和 RNN，因为它们是理解多模式深度学习融合模型的基础。接下来，按使用的深度学习架构分类，从任务、模型框架和数据集的角度总结了开创性的多模态深度学习融合模型。最后，描述了用于多模态数据融合的深度学习的一些挑战和未来的发展方向。

2、基于深度学习的多模态数据融合方法

我们从模型任务、模型框架工作和评估数据集的角度回顾了最具代表性的基于深度学习的多模态数据融合方法。根据所使用的深度学习架构，它们分为四类，下表总结了代表性的多模态深度学习模型。

1)基于 DBN 的多模态数据融合方法

3、结论

深度学习是数据挖掘的主要分支，目前已经提出了许多代表性的深度学习框架来处理各种领域的问题，例如特征学习、音频压缩和图像生成。这些具有代表性的体系结构已取得了很大的进步，在大容量数据可访问性的支持下，在某些领域中的基于深度学习的方法的性能优于其他传统的方法。此外，高性能计算设备(例如 GPU，CPU 群集和云计算平台)用于提高训练效率。异构网络中多模态数据的爆炸性和可访问性为我们提供了广阔的机会，可以从多个方面挖掘异构网络的内在知识。这些数据由于其高容量、高速度、多样性和准确性，对传统的多模态数据挖掘方法提出了巨大的挑战，目前已经提出了一些开创性的多模式深度学习模型用于数据融合。在此论文中，我们总结了几种基于深度学习的多模态数据融合方法，它们均建立在目前具有代表性的深度学习体系结构上：DBN，SAE，CNN 和 RNN。我们总结了基于 DBN，SAE，CNN 和 RNN 的四组多模态数据深度学习模型中的模型。这些开拓性的模式已经取得了一些进展。但是，这些模型仍处于初步阶段，因此仍然存在挑战。

首先，多模态数据融合深度学习模型中有大量的自由参数，尤其是对目标任务影响很小的冗余参数。为了训练这些参数捕获数据的特征结构，将大量数据馈入基于反向传播算法的多模态数据融合深度学习模型，该算法计算量大且耗时。为了提高权重学习效率，已经在计算密集型体系结构上执行了反向传播算法的一些并行变体：CPU 群集，GPU 和云平台。反过来，多模态数据融合深度学习模型的规模很大程度上取决于训练设备的计算能力。但是，当前高性能设备的计算能力提高的速度落后于多模态数据的增长速度。在当前体系结构的高性能计算设备上训练的多模态数据融合深度学习模型可能无法很好地学习体积增加的多模态数据的特征结构。因此，利用深度学习今习惯多模态数据融合的一个未来研究方向是设计一些具有很强能力的计算架构的学习框架。此外，自由参数的压缩是提高深度学习中单模态数据特征学习训练效率的有效途径，目前在这块儿已经取得了很大的进步。因此，如何结合当前的压缩策略来设计多模态深度学习的新压缩方法也是一个潜在的研究方向。

其次，多模态数据不仅包含模态信息，而且还包含丰富的跨模态信息。为了学习多模态数据的丰富的模态和跨模态信息，大多数现有的用于多模态数据融合的深度学习模型首先使用深度模型来捕获每个模态的私有特征，然后将模态特定的原始表示转换为高度抽象的表示。随后将这些高度抽象的表示形式进一步串联成一个向量，该向量表示多模态的全局表示形式。最后，使用深层模型对级联向量中的高抽象表示进行建模。但是，通过使用此方法，多模态深度学习模型无法捕获多模态数据的全部语义知识，然而，目前并没有明确的解释为什么这些单一的模态特征(即同一语义空间的表示)会引起不同语义级别的特征的组合而丢失跨模态性信息。同样，模态方式表示以线性方式串联在一起，这种方式无法适应多种方式上的复杂关系，随着对多模态数据的探索，将三个或更多个模态组合起来以挖掘关于模态和跨模态的知识。当前的多模态数据融合深度学习模型可能无法达到预期的结果。因此，迫切需要考虑语义关系的新的多模态数据深度学习模型。此外，一些语义融合策略(例如，多视图融合，迁移学习融合和概率依存性融合)在多模态数据的语义融合中取得了一些进展。因此，深度学习和语义融合策略的结合可能是解决多模态数据探索所带来挑战的一种解决方式。

第三，来自动态环境中多模态数据存在不确定性。也就是说，动态的数据意味着数据的分布不会保持不变。学习动态多模态数据的多模态深度学习的传统方法是在数据分布发生变化时训练新模型。但是，训练新的深度学习模型需要太多时间，并且无法满足在线多模态数据应用的需求。在线学习和增量学习是代表性的实时策略，可在不损失大量历史知识的情况下学习新数据的新知识。因此，随着动态多模态数据的爆炸式增长，必须解决用于数据融合的在线和增量多模态深度学习模型的设计。而且，多模态数据质量低并且包含噪声，不完整的数据和离群值。当前，一些深度学习模型仅关注单模态噪声数据，随着低质量多模态数据的爆炸式增长，迫切需要解决低质量多模态数据的深度学习模型。

致谢

本文由南京大学软件学院 2020 级博士生葛修婷翻译转述。