论文阅读 - Early Detection of Fake News by Utilizing the Credibility of News

最新推荐文章于 2023-12-15 21:50:42 发布

无脑敲代码，bug漫天飞

最新推荐文章于 2023-12-15 21:50:42 发布

阅读量517

点赞数

分类专栏：虚假信息检测文章标签：论文阅读

本文链接：https://blog.csdn.net/qq_40671063/article/details/129016190

版权

虚假信息检测专栏收录该内容

6 篇文章 6 订阅

订阅专栏

论文链接：https://arxiv.org/pdf/2012.04233.pdf

摘要

假新闻的传播显著影响个人声誉和公众信任。因此，假新闻检测引起了极大的关注，以往的研究主要集中在从新闻内容或传播路径中寻找线索。

但是，在早期检测场景中，以前模型的所需功能通常不可用或不足，从而导致性能不佳。因此，早期的假新闻检测仍然是一个艰巨的挑战。直观地看，来自可信权威来源或众多口碑较好的用户分享的新闻，比其他新闻更可靠。

利用发布者和用户的可信度作为先前的弱监督信息，我们可以在海量新闻中快速定位假新闻，并在传播的早期阶段发现它们。

在本文中，我们提出了一种新颖的结构感知的多头注意网络 (SMAN)，它结合了发布者和用户的新闻内容，发布和转发关系，共同优化了假新闻检测和可信度预测任务。

通过这种方式，我们可以明确地利用发布者和用户的信誉进行早期假新闻检测。我们对三个真实世界的数据集进行了实验，结果表明，SMAN可以在4小时内检测到假新闻，准确率超过91%，这比最先进的模型要快得多。源代码和数据集可以在https://github.com/chunyuanY/FakeNewsDetection获取。

1 简介

假新闻的广泛传播对个人名声、公众信任和安全产生了重大影响。例如，传播有关新型冠状病毒肺炎的错误信息，例如 “亚洲人更容易受到新型冠状病毒” 具有非常严重的影响，使人们忽视了病毒的危害性，直接影响了公众健康。研究表明，错误信息比真实信息传播得更快、更远、更深、更广泛 (vosoghi等，2018)。因此，社交媒体上的假新闻检测最近在研究和工业领域都引起了极大的关注。

早期对假新闻检测的研究主要集中在各种来源的有效特征的设计上，包括文本内容，用户剖析数据和新闻扩散模式。已经探索了语言特征，例如写作风格和耸人听闻的标题 (Kwon等人，2013)，词汇和句法分析 (Pot- thast等人，2017)，以将假新闻与真实新闻分开。除了语言特征之外，一些研究还提出了一系列关于新闻传播的基于用户的特征 (Castillo等人，2011; Shu等人，2018) 和时间特征 (Kwon等人，2013)。但是，这些基于特征的方法非常耗时，有偏差，并且需要大量的人工来设计。此外，这些功能很容易被用户操纵。

解决问题,许多新研究 (Ma等人,2016年; Yu等人,2017年; Guo等人,2018年; Shu等人,2019年; Yuan等人,2019年) 为假新闻检测应用各种自动学习高级表征。例如，递归神经网络 (RNN) (马等人，2016)，卷积神经网络 (CNN) (Yu等人，2017)，因式分解 (Shu等人，2019) 和图神经网络 (Yuan等人，2019) 用于学习新闻的内容表示和扩散图。这些方法仅将更多类型的信息应用于假新闻检测，而很少关注早期检测。此外，这些模型只能在考虑全部或固定比例的转发信息的情况下检测假新闻，而在实践中，它们不能在新闻传播的早期阶段检测假新闻 (Song等，2018)。一些研究 (刘和吴，2018; 宋等人，2018; 周等人，2019) 探索依靠最少的帖子来早期发现假新闻。这些方法的主要局限性在于，它们忽略了发布者和用户信誉对于早期发现假新闻的重要性。

当我们人类看到一条突发新闻时，我们首先可以使用常识来判断其中是否存在事实错误。同时，我们还将考虑发布者和转贴用户的声誉。人们倾向于相信来自可靠和权威来源的新闻，或者相信许多具有良好声誉的用户共享的新闻。如果出版商是可靠的，我们倾向于相信这个消息。另一方面，如果新闻在短时间内被许多低声誉用户转发，则可能是一些垃圾邮件发送者试图在新闻上升温 (Chen和Chen，2015; Vosoghi等人，2018)，导致新闻的可信度较低。

受以上观察的启发，我们明确地将发布者和用户的可信度作为超级信息，并将假新闻检测建模为多任务分类任务。我们可以通过其历史发布和转发行为来注释一小部分发布者和用户。尽管发布者和用户的信誉并不总是提供正确的信息，但它们是虚假新闻检测所必需的补充监督信息。为了将可信度信息推广到其他未注释的用户，我们构造了一个异构图来建立发布者，新闻和用户的联系。通过基于图的编码算法，图中的每个节点都会受到发布者和用户可信度的影响。

在本文中，我们解决了以下挑战 :( 1) 如何对异构图结构和新闻内容进行全面编码；(2) 如何明确利用发布者和用户的可信度，促进虚假新闻的早期发现。

为了应对上述挑战，我们提出了一种新颖的结构感知多头注意网络，用于早期发现假新闻。然后，我们应用结构感知的多头注意模块对用户之间的新闻扩散图进行编码，并生成用户表示，用于用户的可信度预测。最后，我们应用卷积神经网络将新闻文本从单词嵌入映射到语义空间，并利用融合注意力模块将新闻、发布者和用户表示结合起来，进行早期假新闻检测。

本文的贡献可以总结如下:

我们提出了一种新颖的策略，该策略明确地将发布者和用户的信誉视为受弱监督的信息，以促进对假新闻的早期发现。

我们提供了一种原则性的方法来共同利用发布者和用户的信誉，以及用于信誉预测和假新闻检测的异构图。

我们对三个真实世界的数据集进行了广泛的实验。实验结果表明，我们的模型在假新闻检测和早期检测任务上都比最先进的模型有了显着的改进。

2 相关工作

2.1 基于特征的方法

假新闻检测的早期研究集中于设计一些将假新闻与真实新闻分开的良好功能。这些功能主要是从文本内容或用户的个人资料信息中提取的。

语言模式，如特殊字符和关键词 (Castillo等人，2011) 、写作风格和耸人听闻的标题 (Kwon et al., 2013)、词汇和句法特征 (Feng et al., 2012; Potthast et al., 2017)、时间语言特征 (Ma et al., 2015; Zhao et al., 2015a) ; ，已被探索用于检测假新闻。除了语言特征之外，一些研究还提出了一系列基于用户的特征 (Castillo等人，2011; Yang等人，2012)，例如粉丝数量、注册年龄和性别 (Castillo等人，2011)，以寻找假新闻检测的线索。

但是，社交媒体中使用的语言具有高度的不正性和不语法性，这使得传统的自然语言处理技术很难有效地从新闻内容中学习语义信息。其次，设计有效的功能通常很耗时，并且在很大程度上依赖于特定领域的专家知识。在新闻传播的早期阶段，某些功能通常不可用或不足。

2.2 深度学习方法

已经导入递归神经网络 (RNN) (马等人，2016) 、卷积神经网络 (CNN) (Yu等人，2017) 和图神经网络 (Yuan等人，2019) 以从新闻内容或扩散图学习表示。一些研究还结合新闻内容和用户的反应，例如冲突的观点 (Jin等人，2016) 、话题 (Guo等人，2018) 或立场 (Bhatt等人，2018; Li等人，2019)，通过神经网络寻找假新闻检测的线索。这些方法仅将更多类型的信息应用于假新闻检测，而很少关注早期检测。

最近，一些研究 (Liu和Wu，2018; Song等，2018; Shu等，2019; Zhou等，2019) 提出了一些在传播初期检测假新闻的方法。然而，这些方法忽略了出版商和用户可信度对早期发现假新闻的重要性。与这些研究不同，我们的方法明确地将发布者和用户的信誉视为弱监督信息，以促进假新闻检测。我们提出了一种新颖的深度学习模型，以同时优化假新闻检测任务和用户可信度预测任务。

3 问题表述

令 $N = \{m_1,m_2,...,m_{|N|}\}$ 为新闻集。

每个新闻 $m_j$ 至少有一个发布者，最多有K个用户 $\{R_1,R_2,...,R_K\}$ 重新发布。

发布者-新闻关系形成发布图 $G(V_p,E)$ 。

发布者-用户关系形成扩散图 $G(V_u,E)$ 。

在新闻的扩散图中，我们将重新发布新闻的用户视为发布者的邻居节点。

我们使用 | P |，| N | 和 | U | 分别表示发布者，新闻和用户的数量。

对于假新闻检测任务，我们的目标是学习一个函数 $p(c|m_j, P, N, U; \theta _3)$ 来预测一条新闻是否是假的。

c是新闻的类标签， $\theta_3$ 表示模型的所有参数。

在本文中，我们设计了一个可信度预测子任务，以显式地利用用户或发布者的可信度信息进行假新闻检测。

对于可信度预测任务，我们的目标是学习一个函数 $p(c|G(V_p,E),P,\theta_1)$ 或 $p(c|G(V_u,E),U,\theta_2)$ 通过发布图或扩散图来预测发布者或用户的信用评分。

4 拟议的框架

拟议的框架包括三个主要组成部分 :( 1) 发布者可信度预测; (2) 用户可信度预测; (3) 假新闻分类。图1说明了所提出模型的体系结构。

近年来，多头注意机制 (Vaswani等，2017) 显示了学习自然语言过程中文档语义表示的卓越能力，这激发了我们将其扩展到学习图表示学习的节点表示。在本文中，我们将多头注意 (Vaswani等人，2017) 扩展为结构感知的多头注意模块，以编码图的结构并从发布图中学习节点表示。

结构感知多头注意模块有三个输入项：Query、Key和Value，分别为 $Q\in R^{n_q*d}$ ， $K\in R^{n_k*d}$ , $V\in R^{n_v*d}$ , 其中 $n_q$ 、 $n_k$ 和 $n_v$ nv表示每项中的节点数，d是节点嵌入的维数。注意模块首先将Query中的每个节点通过点积注意单元带到Key中的所有节点。但实际上，每个节点都不可能与社交图中的所有节点建立联系。因此，我们将图结构的相邻关系编码到注意模块中。

邻接矩阵 $A^{pn} \in R^{|P|*|N|}$ ，其元素 $A^{pn}_{ij}$ 表示发布者i发布一条新闻j。最后，我们将这些注意力权重应用于Value:

其中 $W_h \in R^{d*d}$ 是一个变换矩阵。 $(D^p)_{ii} = \sum_{j}A^{pn}_{ij}$ 和 $(D^n)_{jj}=\sum_{i}A^{pn}_{ij}$ 是对角矩阵，用于归一化邻接矩阵 $A^{pn}$ 。 $\bigodot$ 表示逐元素乘积。

然后将V的条目与权重线性组合以形成Q的新表示。

通过这种方式，结构感知注意力模块可以捕获跨Query节点和Key节点的关系，并进一步使用这些关系来聚合Query中的嵌入以产生新的节点表示。

我们通常让K = V。因此，Q中的每个节点都由V中最相似的节点表示。

对于每个关注头从一个方面捕获Q，K和V之间的关系，我们将一个关注头扩展到多头模式:Q、K和V分配给h头。

具体地， $\forall h\in [1,H]$ 头h的输出由以下公式给出:

其中 $P\in R^{|P|*d}$ 是发布者的嵌入， $N\in R^{|N|*d}$ 是新闻嵌入。H是注意模块中头部的数量。每个发布者和新闻都通过其id转换为d维嵌入，并且向量通过正态分布进行初始化 (Glorot和Bengio，2010)。

然后，将多头注意力的输出特征串联在一起，并应用全连接层将其转换为最终输出，其形式化为:

其中 $W_o \in R^{Hd*d}$ 是线性变换矩阵，ELU(x) 是激活函数。

经过上述过程，我们获得了发布者的表示式 $\widetilde{P}\in R^{|P|*d}$ 。最后，我们使用这些特征来预测发布者的可信度，其公式如下:

其中 $b_p$ 是一个偏差项，和 $W_p\in R^{d*|c|}$ 和 | c | 是可信度的总级别。

信用评分有三个级别 (| c | = 3): “不可靠” 、 “不确定” 和 “可靠”。

可信度的注释将在第5.1节中介绍。最后，可以将发布者可信度预测任务转换为分类任务。

我们应用交叉熵损失作为优化目标:

其中 $y^{(p)}_i$ 是发布者i的真实可信度，而 $\theta_1$ 表示在此子任务中需要训练的所有参数。我们对模型的所有参数应用 L2正则化来克服过拟合问题。 $\lambda$ 是正则化因子。

4.2 用户可信度预测

与发布者可信度预测任务相同，我们将用户可信度作为弱监督信息应用，以促进假新闻检测。

首先，我们构造了新闻 $G(V_u,E)$ 的扩散图，该图记录了新闻如何从发布者传播到其他用户。图的节点 $V_u$ 属于用户集，边表示扩散轨迹。

假设每个新闻最多会被K个不同的用户转发。我们用矩阵 $R\in R^{|U|*K}$ 来表示之前转发过新闻的用户id。

当转发用户数小于 K 时，在矩阵 R 的开头填充'0'。我们仍然应用结构感知的多头注意来从扩散图中学习用户节点表示。关注单元定义如下:

其中 $W_h \in R^{d*d}$ 是一个变换矩阵。 $(D^u)_{ii} = \sum_{j}A^{uu}_{ij}$ 是对角矩阵，用于归一化邻接矩阵 $A^{uu}$ 。完整的计算过程如算法1所示。

为了从不同的转发关系中学习丰富的表示，我们扩展了结构感知注意力以采用多头范式。具体地，H个独立的注意单元执行等式6的转换，然后它们的特征被串联，从而产生用户表示。

最后，我们使用这些用户表示 $\widetilde{R}\in R^{|U|*K*d}$ 来预测用户的可信度得分，其公式如下:

用户信用评分的标注方式与发布者的信用评分相同。我们应用交叉熵损失作为优化函数：

其中 $y^{(u)}_{ij}$ 是用户uij的可信度，θ2表示在此子任务中需要训练的所有参数。

4.3 虚假新闻分类

对于假新闻分类，我们将新闻与发布图和扩散图相结合，以更有效地捕获真假新闻的内容和扩散方式的差异。

4.3.1 新闻内容表示

已经有许多自然语言处理模型可用于从词序嵌入学习文本表达，例如CNN (Kim，2014; Kalchbrenner等，2014) 和RNN (Tai等，2015; Yang等，2016)。为了进行公平的比较，我们还应用CNN (Kim，2014) 作为学习新闻表示的基本组成部分，这与论文相同 (Yuan等，2019)。

4.3.2 融合注意力单元

经过上述过程，我们从CNN的单词嵌入中获得了新闻 $m_j$ 的新闻内容表示 $m_j\in R^{3d}$ 。然后，我们将介绍如何融合发布者，用户和内容表示进行分类。首先，我们通过新闻id $m_j$ 从发布和扩散图中找到发布者id $p_i$ 。然后，我们根据发布者id $p_i$ 从所有发布者表示表 $\widetilde{P}$ 中查找发布者表示 $\widetilde{P}_i\in R^d$ 。通过相同的方式，我们通过发布者id $p_i$ 从所有用户表示表 $\widetilde{R}$ 中查找用户表示式 $\widetilde{R}_i\in R^{K*d}$ 。 $\widetilde{R}_i$ 表示转发新闻 $m_j$ 的K个不同用户.

我们通过一个注意模块汇总重新发布的用户嵌入 $\widetilde{R}_i\in R^{K*d}$ :

其中 $N_j\in R^{1*d}$ 是从新闻嵌入表N中查找的新闻 $m_j$ 的嵌入。然后，我们通过启发式方法融合发布者表示和用户组合表示:

其中 $W_F\in R^{4d*d}$ 是变换矩阵， $b_F\in R^d$ 是偏置项。

新闻内容表示捕捉了假新闻和真实新闻之间的语义差异。 $m_j$ 从扩散图中捕捉假消息和真实消息之间的差异。两种表示形式对于假新闻检测都很重要，因此它们被串联为最终特征。应用全连接层将最终表示形式投影到类概率的目标空间中:

其中 $W_m\in R^{4d*|c|}$ 是变换矩阵，b ∈ R是偏项。最后，将交叉熵损失作为假新闻检测的优化目标函数:

其中 $y^{(n)}_j$ 是新闻 $m_j$ 的黄金类别概率。为了同时优化可信度预测任务和假新闻检测任务，我们将所有这些优化目标组合如下:

其中 θ = {θ1，θ2，θ3} 表示模型SMAN的所有参数。

5 实验

在本节中，我们介绍了评估SMAN有效性的实验。具体来说，我们旨在回答以下评估问题:

EQ1: SMAN可以通过联合优化假新闻检测任务和发布者及用户的可信度预测任务来提高假新闻分类性能吗？

EQ2: 发布者和用户的可信度预测任务在提高SMAN的检测性能方面分别有多有效？

EQ3: SMAN可以提高假新闻早期检测任务的性能吗？

5.1 数据集

我们在三个现实世界的数据集上评估S马N: Twitter15 (马等人，2017) 、Twitter16 (马等人，2017) 和微博 (马等人，2016)。表1显示了三个数据集的统计数据。

为了公平的比较，我们使用拆分为 (Yuan et al.，2019) 的train、验证和测试集，其中10% 个样本作为验证数据集，其余的拆分为训练和测试集，比例为3:1。根据训练集对这三个数据集中的发布者和用户的信用评分进行注释。在本文中，我们为发布者和用户定义了三个可信度级别:

(1) “0” 表示 “可靠” (发布者从未发布过虚假或未经验证的新闻); (2) “1” 表示 “不确定” (发布者不仅发布真实新闻，还发布虚假新闻)；(3) “2” 表示 “不可靠” (publishers总是发布虚假消息和未经验证的消息，但从不发布真实消息)。

5.2 基线模型

我们将我们的模型与一系列假新闻检测方法进行了如下比较:

(1) 基于特征的方法: DTC (Castillo等人，2011): 利用新闻特征组合的基于决策树的模型。

(2)Svm-rbf (Yang等人，2012): 具有RBF内核的SVM模型，该模型利用了新闻特征。

(3)SVM-TS (Ma et al., 2015)：一种利用时间序列对新闻特征的变化进行建模的 SVM 模型。

(4)DTR (Zhao et al.，2015b): 一种基于决策树的通过查询短语检测假新闻的方法。

(5)RFC (Kwon等人，2017): 利用用户、语言和结构特征的随机森林分类器。

(6)cPTK (马等人，2017): 具有传播树内核的SVM分类器，其通过学习时间结构模式来检测假新闻。

深度学习方法:

(1)GRU (马等人，2016): 一种基于RNN的模型，可从用户评论中学习时间语言模式。

(2)RvNN (马等人，2018): 一种基于递归神经网络的自底向上和自顶向下树状结构模型，用于Twitter上的假新闻检测。

(3)PPC (Liu和Wu，2018): 一种通过结合递归和卷积网络的传播路径分类来检测假新闻的模型。

(4)GLAN (Yuan等，2019): 一种共同编码扩散图的局部语义和全局结构的模型。

5.3 评估指标和参数设置

与以前的研究相同 (Liu和Wu，2018; 马等，2018; Yuan等，2019)，我们还采用了准确性，精确度，召回率和F1得分作为评估指标。SMAN的参数由具有默认参数的Adam算法 (Reddi等人，2018) 更新。模型的所有词嵌入都由300维词向量初始化，其由 (Yuan等人，2019) 发布。卷积内核大小被设置为 (3、4、5)，每种大小具有100个内核。结构感知多头注意力H中的头部数量选自 {1、2、3、.、11、12}，并设置为7。等式 (5)，(8)，(12) 中的 λ 选自 { $1e^{-8}$ ， $1e^{-7}$ ，..， $1e^{-6}$ }，并设置为 $1e^{-6}$ 。

5.4 结果及分析

为了回答EQ1，我们将SMAN与第5.2节中介绍的假新闻分类基准进行了比较。所有基线方法的实验结果如表2、3和4所示。为了进行公平比较，基线的性能直接引用了以前的研究 (马等，2018; Liu和Wu，2018; Yuan等，2019)。在提交本文时，GLAN模型是最先进的方法。

我们在所有表中加粗显示每一列的最佳性能。从表中，我们可以观察到:

(1) 基于手动设计的特征 (DTR，DTC，RFC，svm-rbf，cPTK和svm-ts) 的方法性能较差。这表明: 1) 手工制作的特征不能有效地编码新闻内容的语义信息; 2) 这些方法不能进行深度的特征交互; 因此无法充分了解假新闻和真实新闻之间的区别。

(2) 深度学习方法 (GRU、RvNN、PPC和GLAN) 显著优于使用手动设计特征的传统分类器。此观察结果表明，深度学习模型可以学习更好的语义表示并执行更好的特征交互。我们还可以观察到，GLAN比RvNN和PPC更有效，因为它可以深度整合本地语义和全局扩散结构以进行假新闻检测。

(3) SMAN与GLAN相比取得了显著改善。与GLAN不同，SMAN不仅优化了假新闻检测任务，还试图预测发布者和用户的可信度。结果表明，发布者和用户的可信度对于了解假新闻和真实新闻之间的差异至关重要。

5.5 消融研究

为了回答EQ2，我们进一步对SMAN的不同模块进行了一些消融研究。实验结果如表5所示。

我们首先评估发布者可信度预测子任务带来的影响。我们可以观察到，如果没有PC，性能会下降很多。发布者的可信度预测子任务可以利用发布者与相应新闻之间的发布关系，将发布者的可信度传递给新闻可信度，从而促进假新闻的检测。消融结果还证明，对发布者的信誉进行明确编码非常重要。

然后，我们分析了用户信誉预测子任务的影响。我们可以观察到，UC的缺失也会导致所有数据集上的显著性能下降。直观地说，一条新闻如果被很多低口碑的用户转发，其可信度确实会大打折扣。与PC任务相同，用户的可信度也可以通过扩散图转换为新闻可信度，从而提高检测性能。

最后，我们还发现，在删除发布者和用户可信度预测子任务后，性能远低于完整模型SMAN，这进一步证明了这两个任务相互提供了互补信息。因此，必须共同优化假新闻检测和可信度预测任务。

5.6 早期检测

对于假新闻检测任务，最基本的目标之一就是尽快发现假新闻，以便及时介入 (Zhao et al.，2015b)。

为了回答EQ3，我们比较了不同时间延迟的不同方法，并通过在给定目标时间延迟的情况下将数据增量添加到检查点时获得的准确性来评估性能。

通过改变时间延迟，几种竞争模型的准确性如图2所示。

在0到4小时内，SMAN的性能明显优于基于树的方法和基于特征的方法，并且比最新方法具有更好的性能，表明SMAN的早期检测性能优越。特别是，SMAN 在 Twitter15 和 Twitter16 数据集上达到了大约 91% 的准确率，在 4 小时内在微博上达到了 95% 的准确率，这比大多数基线要快得多。

8 小时后，我们的模型明显超越了最先进的方法。我们可以看到，使用更多的转发关系将使扩散图的构建更加完整，并使可信度的影响更容易从发布者和用户转移到新闻表示中.总体而言，实验结果表明，SMAN不仅可以提高检测性能，而且可以显着减少检测所需的时间。

6 结论

本文提出了一种新颖的结构感知的多注意力网络，该网络将新闻内容，发布者和用户之间的异构图相结合，共同优化了虚假新闻检测和用户可信度预测的任务，以实现早期虚假新闻检测。除了现有的大多数研究都采用手工制作的功能或深度学习方法之外，我们明确地将发布者和用户的信誉视为一种弱监督的信息，以促进假新闻检测。在三个真实世界数据集上进行的广泛实验表明，所提出的模型在假新闻分类和早期检测任务上都可以大大超过其他最先进的模型。

无脑敲代码，bug漫天飞

关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
2
评论
论文阅读 - Early Detection of Fake News by Utilizing the Credibility of News

论文阅读 - Early Detection of Fake News by Utilizing the Credibility of News, Publishers, and Users Based on Weakly Supervised Learning
复制链接

扫一扫

专栏目录