m0_51474171的博客

采用注意力机制和异构图网络建模来检测谣言

作者提出，之前的工作大多专注于文本挖掘和学习文本的语义特征，他们忽略了学习谣言的传播。之前有方法使用RvNN，与标准RvNN不同的是，输入是一个从源文章而不是解析树根的传播树，每个节点代表一个帖子。他们使用GRU单元通过递归传播来更新节点表示，，而且由于它是通过顺序传播进行训练的，因此在效率上存在一些挑战。而且有调查指出，谣言和非谣言的传播结构也有很大不同，故。

作者提出了什么问题，如何解决的，亮点是什么，有什么局限和应用

作者指出现在的谣言检测文章很少考虑视觉和文本之间的关系（相似性），但是这种相关性是很重要的，比如说一个假新闻文章为了吸引读者的注意力，用了一张和文本毫不相干图片。所以作者提出了一个相似性感知假新闻检测模型——SAFE。这个模型从新闻文章中调查了大量的多模态信息，首先，用神经网络分别提取文本和视觉特征用于新闻表示，然后研究提取的多模态间的关系。然后新闻的文本和视觉特征表示和他们之间的关系联合学习并用来预测假新闻。作者提出的方法有助于根据新闻文章的文本、图像或“不匹配”来识别其虚假性。

作者在这一小节提出了自己关于谣言检测的新见解以及新模型：新闻报道的可信度不应孤立地考虑。相反，可以使用之前发布的关于类似事件的新闻文章来评估新闻报道的可信度。受此启发，我们提出了一个基于BERT的多模式不可靠新闻检测框架，该框架利用对比学习策略从不可靠文章中捕获文本和视觉信息。对比学习者与不可靠新闻分类器进行交互，将相似的可信新闻（或类似的不可靠新闻）推得更近，同时在多模态嵌入空间中将内容相似但可信度标签相反的新闻文章移得更远。

我们观察到，除了文本之外，越来越多的用户正在使用图像和视频来发布新闻。推文或微博通常由文本、图像和社交环境组成。在本文中，我们提出了一种新颖的具有注意机制（att-RNN）的递归神经网络，以融合多模态特征以进行有效的谣言检测。在这个端到端网络中，图像特征被结合到文本和社会背景的联合特征中，这些特征是通过 LSTM（长短期记忆）网络获得的，以产生可靠的融合分类。我们将推文实例定义为表示三种不同内容模式的元组：文本内容 T、社交上下文 S 和视觉内容 V。所提出的模型从这些模式中获取特征。

作者指出：社交媒体上假新闻检测的独特挑战之一是如何识别新出现的事件的假新闻。不幸的是，大多数现有方法几乎无法应对这一挑战，因为它们倾向于学习无法转移到未见过事件的特定于事件的特征。然后作者提出了一个名为 Event Adversarial Neural Network (EANN) 的端到端框架，它可以派生事件不变的特征，从而有利于检测新到达事件的假新闻。它由三个主要组件组成：多模态特征提取器、假新闻检测器和事件鉴别器。多模态特征提取器负责从帖子中提取文本和视觉特征。

随着多媒体的发展，许多假新闻通过图像或者视频来吸引读者，所以视觉信息是新闻检测的重要内容，作者发现，在现实世界，假新闻在物理和语义层面与真实新闻有很大不同， 因此，作者提出了一种新颖的框架多域视觉神经网络（MVNN）来融合频域和像素域的视觉信息来检测假新闻。具体来说，作者设计了一个基于 CNN 的网络来自动捕获频域中假新闻图像的复杂模式；并利用多分支 CNN-RNN 模型从像素域中的不同语义级别提取视觉特征。利用注意力机制动态融合频域和像素域的特征表示。

我们提出了 SpotFake+，这是一种多模式方法，它利用迁移学习从新闻文章及其相关图像中捕获语义和上下文信息，并实现更好的假新闻检测准确性。

该小节介绍了前人谣言检查系统依赖子任务的缺点和SpotFake模型的特点以及更好的性能。虽然存在多模态假新闻检测系统，但它们倾向于通过考虑额外的子任务（如事件鉴别器）和寻找跨模态的相关性来解决假新闻问题。假新闻检测的结果严重依赖子任务，在没有子任务训练的情况下，假新闻检测的性能平均下降 10%。我们提出的解决方案在不考虑任何其他子任务的情况下检测假新闻。它利用了文章的文本和视觉特征。

分析表明，谣言的广泛传播通常是故意宣传的宣传活动的结果，这些宣传活动旨在形成对相关新闻事件的集体意见。在本文中，我们尝试与自身对抗这种混乱，以使自动谣言检测更加稳健和有效。我们的想法受到源自生成对抗网络（GAN）的对抗学习方法的启发。我们提出了一种 GAN 风格的方法，其中生成器旨在产生不确定或冲突的声音，使原始对话线程复杂化，以迫使鉴别器从增强的、更具挑战性的示例中学习更强的谣言指示表示。谣言制造者可以利用宣传活动来纠缠公众舆论或影响集体立场，以使其广泛传播和放大。

谣言帖子经常在参与用户中引发多变的、主要是有争议的立场。因此，确定相关帖子的立场可能与成功检测谣言有关。我们提出了一个联合框架，统一了两个高度相关的任务，即谣言检测和立场分类。基于深度神经网络，我们使用权重共享联合训练两个任务以提取共同和任务不变的特征，而每个任务仍然可以学习其特定于任务的特征。然而，据观察，反对谣言的怀疑和反对声音总是随着谣言的传播而出现，作为表明信息真实性的有用指标。识别谣言以及分析对相关信息的各种立场，对于早期预防谣言传播以尽量减少其负面影响是有意义和有益的。

CAMI 可以灵活地提取分散在输入序列中的关键特征，并形成重要特征之间的高级交互，有助于有效识别错误信息并实现实用的早期检测。在两个大规模数据集上的实验结果验证了 CAMI 模型在错误信息识别和早期检测任务上的有效性。基于特征工程的方法无法在重要特征之间形成精细的高级交互来模拟现实世界的社交媒体场景，而 CNN 不仅可以自动提取局部-全局来自输入实例的重要特征，而且揭示了那些高级交互。我们使用无监督方法段落向量来学习输入微博帖子的表示，并使用监督方法 CNN 来自动获取错误信息和真实信息的关键特征。

本文提出了一种学习微博事件的连续表示以识别谣言的新方法。所提出的模型基于循环神经网络 (RNN)，用于学习捕获相关帖子的上下文信息随时间变化的隐藏表示。RNN 方法优于使用手工特征的最先进的谣言检测模型；基于 RNN 的算法的性能通过复杂的循环单元和额外的隐藏层进一步提高；基于RNN的方法比现有技术更快速、更准确地检测谣言，包括领先的在线谣言揭穿服务。

社交网络的新闻往往包括，，以及。其中新闻内容指的是文章中所包含的文本信息以及图片视频等多模态信息。社交上下文信息指的是新闻的发布者，新闻的传播网络，以及其他用户对新闻的评论和转发。外部知识指客观事实知识，通常由知识图谱表示外部知识。的定义是给定新闻文章的新闻内容，社交上下文内容，以及外部知识，去判断新闻文章的真假。