论文笔记：Cross-modal Contrastive Learning for Multimodal Fake News Detection

Cross-modal Contrastive Learning for Multimodal Fake News Detection

文章下载地址：https://dl.acm.org/doi/abs/10.1145/3581783.3613850

摘要

多模态假新闻的自动检测近年来得到了广泛的关注。许多现有的方法寻求融合单峰特征来产生多模态新闻表示。然而，强大的跨模态对比学习方法在假新闻检测方面的潜力尚未得到很好的利用。此外，如何聚合来自不同模式的特征来提高决策过程的性能仍然是一个悬而未决的问题。为了解决这个问题，我们提出了一种用于多模态假新闻检测的跨模态对比学习框架，旨在实现更准确的图像-文本对齐。为了进一步捕捉视觉和语言之间的细粒度对齐，我们利用一个辅助任务来软化对比过程中负样本的损失项。建立了一个跨模态融合模块来学习跨模态关联。实现了一种带有注意引导模块的注意机制，以帮助有效地和可解释地聚合对齐的单峰表示和跨模态相关性。

1.介绍

随着推特和微博等在线社交网络（OSNs）的普及，个人可以自由地分享日常信息，表达自己的观点和情感。然而，滥用OSNs和缺乏适当的监督来验证网络帖子的可信度，导致了大量假新闻的广泛传播。因此，假新闻检测得到了广泛的关注，并成为近年来的首要任务。

现有的关于自动假新闻检测的研究主要集中在文本内容上，无论是使用传统的学习方法，如决策树分类器，还是使用深度学习方法，如卷积神经网络（CNN）。然而，社交媒体上的帖子通常包含丰富的多模态信息，基于单峰（单模态）特征的检测远远不够。图1显示了来自推特的一些例子，说明了为什么这四条新闻被认定是虚假的原因。最近的研究试图融合文本和视觉特征，产生多模态后表示，然后提高假新闻检测的性能。然而，我们认为应该适当地应用更先进的多模态表示学习，因为获得更复杂的对齐单模态表示和跨模态特征是有效的多模态假新闻检测的先决条件。此外，跨模态特征在某些情况下不一定发挥关键作用。例如，图1(a)中的文本内容非常荒谬，足以表明它是假的。与之相反，图1(d)中的跨模态信息间隙可以帮助提高分类精度。因此，来自不同模式的特征如何影响决策过程，以及我们如何使其更有效和更可解释，仍然是一个悬而未决的问题。

对比损失的目的是通过将正图像-文本对的嵌入推到在一起，同时将负图像-文本对的嵌入分开，使图像特征和文本特征对齐。它已被证明是改进单峰编码器以更好地理解图像和文本的语义意义的一个有效目标。虽然有效，但对比学习中的热门标签会惩罚所有负面预测，不管它们的正确性。因此，这种多模态假新闻检测的对比框架存在几个关键的限制： (1)假新闻中大量的图像-文本对天生不匹配（如图1d），对比目标可能与这些数据过拟合，降低模型的泛化性能；(2)不同的图像-文本对可能存在潜在的相关性（特别是在同一事件的不同多模态新闻的情况下），现有的对比目标直接将这些对视为负的，可能会混淆模型。因此，虽然这些先进的技术可以有利于多模态表示学习，但它们在多模态假新闻检测中的应用仍有待探索。

我们利用一个简单的双编码器框架来构造视觉语义水平和语言语义水平。然后，我们使用图像-文本对比（ITC）学习目标，以确保图像和文本模式之间的对齐。如上所述，用于检测多模态假新闻的对比性学习框架受到一定的约束，主要源于单热标记方法（为每个分类特征的每个可能值创建一个新的二进制特征（即“独热”特征）,在分类时分为0和1，作者说的约束主要指分类结果只有0和1，没有百分比，无法充分捕捉类别间的潜在关系或顺序信息，从而在某些情况下导致有用信息的丢失）。为了缓解这一问题，进一步提高对齐精度，我们利用一个称为跨模态一致性学习的辅助任务，引入更多的监督，引入更细粒度的语义信息。具体来说，对比学习目标确保了图像-文本对的一对一对应，一致性学习任务可以获得潜在的语义相似特征，以减轻负样本（未配对样本）的损失。然后，我们将对齐的单峰表示输入一个跨模态融合模块，以学习交叉模态的相关性。最后，我们设计了一个注意机制模块，以帮助有效地聚合对齐的单峰表示和跨模态相关性。我们引入了一个注意引导模块，通过估计文本和图像的表示分布的差异来量化它们之间的模糊性，这可以帮助指导注意机制为模式分配合理的权重。这样，COOLANT可以获得更复杂的对齐单峰表示和跨模态特征，然后有效地聚合这些特征，以提高多模态假新闻检测的性能。

本文的主要贡献如下：

• 我们提出了一种用于多模态假新闻检测的跨模态对比学习框架，旨在实现更准确的图像-文本对齐。
• 我们在对比过程中软化了负样本的损失项，以减轻严格的约束，从而使其更符合我们的任务。
• 我们引入了一种带有注意引导模块的注意机制，以帮助有效地和可解释地聚合来自不同模式的特征。
• 我们在推特和微博的两个广泛使用的数据集上进行了实验。实验结果表明，我们的模型大大优于以前的系统，并在两个数据集上取得了新的最先进的结果。

2.相关工作

2.1假新闻检测

2.1.1单模态方法

现有的单峰假新闻检测方法主要依赖于文本内容分析或帖子中的图像内容。在文本内容分析中，Qian提出了一个生成模型来提取新的模式，并通过分析用户过去有意义的反应来协助假新闻检测。TM 利用文本的词汇和语义属性来检测假新闻。此外，验证逻辑稳健性、捕捉写作风格或提取修辞结构也被广泛用于打击假新闻。对于图像内容，Jin声称在真实新闻和假新闻的图像内容传播模式中存在明显的区别特征。MVNN 联合利用空间域中的视觉特征和频域特征中的图像特征进行取证。然而，这些方法忽略了跨模态特征，如相关性和一致性.

2.1.2多