2019 年 8 月,北京智源人工智能研究院联合中科院计算所、数据评测平台 biendata,共同发布了中文多模态虚假新闻数据集,并同步开放了评测竞赛(2019 年 8 月-11 月初),总奖金 10 万元。
比赛网址请见下方链接,或点击“阅读原文”链接。
本次比赛在文本模态之外,重点关注视觉模态在虚假新闻检测中的应用。为使参赛选手充分了解已有工作,主办方特别撰写了进展介绍,总结在虚假新闻检测中,视觉模态的作用和利用方法。
比赛链接:
https://biendata.com/competition/falsenews/
微博、Tiwtter 等社交平台的兴起为用户带来便捷的同时也为虚假新闻的滋生与传播提供了土壤。虚假新闻的疯狂传播已经带来了诸多消极影响。据统计,在 2016 年美国总统大选前一个月,平均每个选民曾接触过 1-3 条政治类假新闻,这些假新闻不可避免地影响了选举过程公平公正的进行。
与此同时,随着多媒体技术的发展,无论自媒体还是专业媒体都开始向基于图、文、短视频的多媒体新闻形式转变。多媒体内容承载着更加丰富与直观的信息,能够更好地描述新闻事件,且更易广泛传播。研究表明,带图片新闻的平均转发次数是纯文本新闻的 11 倍。正因如此,虚假新闻经常使用极具煽动性的图片来吸引和误导读者,从而快速且广泛地传播,这使得对视觉模态内容的检测已经成为应对虚假新闻挑战的不容忽视的一部分。
本文将介绍视觉模态在虚假新闻检测中的应用进展。 首先本文分析了现存的虚假新闻配图的类别,之后从统计、取证、语义三个方面介绍了有助于检测的特征,并介绍了融合多种视觉模态的方法 MVNN。此外,我们还介绍了三种多模态检测方法,以充分展示如何将视觉信息与文本信息结合,以应对虚假新闻检测的挑战。
问题分类
虚假新闻中的配图情况主要有以下三种:
图片篡改:通过对既有图片进行恶意的篡改来达到混淆读者视听的效果。下图中,普京被拼接到图片中心的座椅上,误导读者以为普京身居中心参与一众领导人的讨论。
▲ 图片篡改
图文不符:图片本身是真实拍摄的,但与文字描述对图片进行了错误解读。下图中记录的是希拉里意外被绊到,但配文却将该事件曲解为希拉里健康状况堪忧。
▲ 图文不符
图片过时:使用以往新闻的配图来充当当前新闻的配图。下图中,2009 年纽约飞机事故的配图被套用到 MH370 事件中,因为此类图片和事件之间具有一定的相关性,对读者具有很强的误导性。
▲ 图片过时
在实际使用中,我们无法预先得知虚假新闻配图属于上述哪种类型。因此,虚假新闻检测的一大难题就在于寻找通用性好的特征组合和设计能应对多种情况的模型。
视觉特征
针对虚假新闻图片的特点,
基于视觉模态内容进行虚假新闻检测的工作主要利用了以下三类特征:
统计特征、取证特征以及语义特征。
统计特征
Jin [1] 等人发现虚假新闻的配图从统计特征上来看与真实新闻存在一定差异。比如,受限于图片来源,虚假新闻往往是少数几张虚假图片在进行着重复传播,而真实新闻由于素材来源丰富,其配图往往具有很