假新闻检测论文分享（22）Multi-modal Fake News Detection on Social Media via Multi-grained Information Fusion

23ICMR，MMFN

摘要重点：目前的假新闻检测方法主要集中于融合文本和视觉特征，未能有效利用细粒度和粗粒度的多模态信息。此外，由于模态之间缺乏相关性或每个模态所做的决策之间存在矛盾，它们面临着歧义问题。为克服这些挑战，本文提出一种用于假新闻检测的多粒度多模态融合网络(MMFN)。受人工评估新闻真实性的多粒度过程启发，分别采用两个基于transformer的预训练模型来编码文本和图像的token级特征。多模态模块融合细粒度特征，同时考虑到CLIP编码器编码的粗粒度特征。为了解决歧义性问题，设计了基于相似性加权的单模态分支，以自适应地调整多模态特征的使用。

1 介绍

1.1 当前工作局限性

近年来，有许多工作结合多模态特征来检测假新闻。尽管在该领域取得了进展，但目前的方法面临着两个重大挑战。

首先，虽然许多工作提出了新颖的融合方法，但它们只是在整体post层面进行融合，不可避免地遗漏了一些细节信息；或者只考虑实体、token或领域之间的匹配，忽略全局语义相关性。这导致了不同粒度信息的次优利用，而不是最优。

其次，许多工作过度依赖多模态融合特征，因此存在歧义问题，即模态间冲突或弱相关性导致的不一致。

这里，举了图一作为例子：