1介绍
本文首先从信息论的角度对跨模态歧义性学习问题进行形式化描述,利用不同单模态特征之间的分布散度量化其歧义性;然后,提出了一种模糊度感知的多模态假新闻检测方法CAFE。CAFE通过自适应地聚合单模态特征和跨模态关联,即在跨模态歧义性较弱时依赖单模态特征,在跨模态歧义性较强时参考跨模态关联,从而提高假新闻检测精度。
主要创新点:
- 提出了跨模态歧义学习问题,这是多模态假新闻检测的一个关键挑战,并提出了一种基于KL散度的方法,通过估计其特征分布的散度来量化文本和图像之间的歧义。
- 提出了CAFE——一种模糊感知的多模态假新闻检测方法,通过学习的模糊分数,自适应地聚合单模态特征和跨模态相关性。
- 在两个广泛使用的数据集——Twitter和Weibo上进行实验。实验结果表明,与当前主流的假新闻检测方法相比,CAFE在两个数据集上的准确率分别提高了2.2 ~ 18.9%和1.7 ~ 11.4%。
2 相关工作
单模态检测方法
(一)依赖于文本内容分析[5,7 - 10,24,25,32],