HGMF: Heterogeneous Graph-based Fusion for Multimodal Data with Incompleteness【多模态 异质图 不完整数据学习】

摘要

随着数据收集技术的进步，从多个来源收集的大量多模数据变得可用。这种多模态数据可以提供补充信息，从而揭示现实世界主体的基本特征。因此，多模态机器学习已成为一个活跃的研究领域。已经开展了大量工作，以利用多模交互和整合多源信息。然而，由于各种原因，例如传感器损坏、数据损坏和记录中的人为错误，现实世界中的多模式数据通常会缺少模式。有效地集成和分析不完整的多模态数据仍然是一个具有挑战性的问题。我们提出了一种基于异构图的多模式融合（HGMF）方法，以实现异构图结构中不完整数据的多模式合并。提出的方法开发了一种独特的策略，用于学习不完整的多模态数据，而无需删除数据或插补数据。更具体地说，我们构造了一个异构超节点图来建模具有不同缺失模式组合的多模态数据，然后我们构建了一个基于图神经网络的传递式学习框架，将异构不完整数据投影到一个统一的嵌入空间，并在此过程中融合了多个模式。学习框架从可用数据中捕获模态交互，并利用不同不完整模式之间的关系。我们的实验结果表明，在三个不同的数据集上，该方法优于现有的基于图的基线和基于非图的基线。

重点内容

随着数据收集技术的进步，多模态数据急剧增加，集成多模态数据提高了各种应用场景中的性能，例如对象检测、情感分析、情感识别和疾病诊断。我们建议在异构超节点图（HHG）中对具有不同不完整模式的高度交互的多模态数据进行建模，我们提出了一种基于图神经网络的传递式学习框架，用于在构建的HHG中对不完整数据进行多模式融合，我们检验了所提出的基于图的异构多模融合（HGMF）模型在完全场景和不完全场景下的有效性。

我们提出了基于异构图的多模式融合（HGMF）框架，这是一种新的多模式集成方法，它利用异构超节点图（HHG）结构从不完整模式中捕获模式交互，并学习不同不完整模式（MBGAT）之间的关系

简介

随着数据收集技术的进步，多模态数据急剧增加。多模态数据融合已成为机器学习领域的一个广泛研究课题。有效地将多模态数据与缺失的模态结合起来仍然是一个具有挑战性的问题。模态缺失是现实多模态场景中的常见问题[5]，缺失可能由多种原因引起，例如传感器损坏、数据损坏和记录中的人为错误。
缺失模态对不完整数据的多模态机器学习提出了重大挑战。大量缺失的数据可能会极大地减小数据的大小，导致难以从少量样本中学习高维交互特征。

方法

从表中可以看出，由于缺少了更多的模式，Concat和LMF的性能急剧下降，而TFN、MTL和拟议的HGMF的性能没有下降太多。这是因为Concat和LMF没有探索太多模态间的相互作用，它们的网络神经元在开始时会受到攻击值的显著影响。

结果

作者执行分类任务，根据基线评估模型。
对于多类数据集，作者报告分类精度Acc-其中表示类的数量。
作者报告F1得分。作者检验了所提出的HGMF模型在完全情景和不完全情景下的有效性。
作者首先评估了所提方法对完整多模态数据的有效性。在这种情况下，数据集中只有一个模式

结论

作者提出了基于异构图的多模式融合（HGMF）框架，这是一种新的多模式集成方法，它利用异构超节点图（HHG）结构从不完整模式中捕获模式交互，并学习不同不完整模式（MBGAT）之间的关系。
其思想是利用强大的图形表示，使不完整的数据样本能够从具有此类信息的其他样本中获得相关缺失信息。通过HHG内的信息集成，提议的HGMF框架有效地将多模态数据融合为联合表示，并基于它们做出决策。

相关工作

我们的工作涉及三个方面：1）完整数据的深度多模融合，2）不完整数据的多模数据分析，以及3）基于图形的传递学习。

完成多模态融合。以往对深度多模融合的大多数研究都假设有完整的特征集。早期融合方法是指在输入级连接多模态数据，而晚期融合方法集成单模输出。基于图形的方法，如超图神经网络（HGNN）执行早期融合（串联）和晚期融合，后者利用单峰表示之间的图形结构关系来整合输出。然而，这些方法在探索高阶模态相互作用的补充信息方面能力有限，无法处理缺失的单模态。执行中间融合的最新方法包括针对顺序数据（时间序列、语言、音频和视频）的多模式顺序学习，以及针对一般数据的后动态学习。然而，这些工作无法对缺失模态的多模态交互进行建模。