谣言检测相关论文阅读笔记：DDGCN: Dual Dynamic Graph Convolutional Networks for Rumor Detection on Social Media

最新推荐文章于 2023-08-13 09:14:32 发布

yxx35AN

最新推荐文章于 2023-08-13 09:14:32 发布

阅读量1.5k

点赞数 1

分类专栏： NLP 文章标签：论文阅读深度学习人工智能

本文链接：https://blog.csdn.net/yxx35AN/article/details/128829088

版权

NLP 专栏收录该内容

6 篇文章 1 订阅

订阅专栏

来源：AAAI2022

摘要：现有的谣言检测很少同时对消息传播结构和时序信息进行建模，与评论相关的知识信息的动态性也没有涉及。所以本文提出了一个新颖的双动态图卷积网络—DDGCN，该模型能够在一个统一的框架内对消息传播的动态性和知识图谱中背景知识的动态性进行建模。具体来说，采用两个图卷积网络来捕获上述两种类型在不同时间阶段的结构信息，然后将其与时间融合单元相结合。这允许以更细粒度的方式学习动态事件表示，并逐步聚合它们以捕获级联效应，以便更好地检测谣言。在两个公共真实世界数据集上的大量实验表明，与强基线模型相比，我们提出的模型有显著的改进，并且可以在早期阶段检测到谣言。

1.Introduction

2.Methodology

Problem Definition 问题定义

Overview 概述

Dynamic Graph Construction Module 动态图形构建模块

Dual-Dynamic GCN Module 双动态GCN模块

Rumor Classification Module 谣言分类模块

1.Introduction

早期谣言检测很重要，扩散模式被建模为传播树或图结构这一方式很有用，但是RNN等基于空间结构的方法在很大程度上忽略或过度简化了与消息传播相关的时间结构。时间结构指的是时间轴上（回复或转发的）消息的顺序和间隔，可以用来进一步区分扩散模式，比如对于同一条post，其中两条评论会构成同样的空间结构，但时序结构不一样。谣言检测的时序性很重要，能够建模信息流更细粒度的动态性，能够得到更好的检测效果，特别是在早期检测中。同时，另一个平行的工作重点是引入额外的知识（如知识图谱）来识别谣言，它们通常利用与帖子内容相关的知识信息来补充语义信息，从而提高帖子的高级表示，背后的直觉是，与传统的分类任务不同，谣言检测模型必须处理许多新的和未见的事件。由于社交媒体上发布的文字有限，额外的背景知识可以极大地帮助判断帖子的可信度，这也是人类判断常用的范式。然而，这些基于知识的方法大多只使用源文章中的背景知识信息，而忽略了用户评论中的背景知识。此外，知识信息也会随着信息的传播而演变。然而，这样的知识动力是不被现有模式利用。

在本文中，我们的目标是在一个统一的框架中同时建模传播中消息的动态性以及相关背景知识的动态性，以便及时检测谣言。直观地说，为了有效地编码传播消息和知识实体之间的结构信息，我们希望使用图卷积网络（GCNs）来学习它们的高级图表示。然而，传统的GCN模型无法跟踪不断变化的图表示。为此，我们提出了一种新颖的双动态图神经网络（DDGCN）框架，该框架包括两个耦合的动态GCNs，其中一个不断演化的传播图上操作，以捕获消息的空间和时间结构作为动态传播表示，另一个在与消息相关的不断演化的知识图上操作，以学习动态知识表示。在此基础上，我们提出了一种序列融合的方法，将上述两种表示结合起来。具体来说，它由一系列时间融合单元组成，每个单元在每个时间阶段结束时将两个中间表示组合在一起，然后将融合的信息按顺序传递给后续单元。因此，随着时间的推移，这个框架可以逐步学习更好的事件表示，也可以在早期阶段检测谣言。

主要贡献总结如下：

就目前所知，我们在谣言检测任务中首先考虑了知识信息的动态特性。
本文提出了一种新型的双动态GCN，通过对传播结构和知识实体结构的动态建模，并在每个时间阶段用时间融合单元进行增量融合。
我们的经验表明，我们提出的方法不仅优于两个真实世界数据集上的强基线，而且在早期发现谣言的能力也很好。

2.Methodology

Problem Definition 问题定义

看作二分类问题

事件实例的集合：，下标代表第几个事件，一共 $n$ 个事件

帖子和评论内容的集合表示：， $s_{i}$ 为源推文文本， $c_{ij}$ 为第 $j$ 条评论， $m_{i}$ 为事件 $i$ 中帖子和评论的数量， $s_{i}$ 也可以看作 $c_{i0}$ 。

事件 $s_{i}$ 中所有帖子的相对释放时间序列：， $t_{i0}=0\left ( i=1,2,....,n \right )$

将上述两种表示结合得到事件表示：

按时间分区， $\gamma$ 个区，时间间隔相同，因此获得单个时间段中的子事件表示：

目的：学习模型、获取标签

重要的符号和描述：

Overview 概述

本文框架主要由三个部分组成:（1）动态图构建模块，分别构建时序谣言传播图（上）和时序事件-实体-概念三方知识图（下）；（2）（中）由双静态GCN单元和时间融合单元组成的图卷积网络模块，用于获取事件的结构语义特征，并在每个时间阶段融合传播和知识信息;（3）聚合最终传播、知识和文本信息并生成分类标签的分类模块。

Dynamic Graph Construction Module 动态图形构建模块

构建两种动态图

动态传播图构造：对于事件 $\varepsilon _{i}$ ，基于源帖子和评论，构建传播图的序列，其中是第 $r$ 个时间段的传播图，是传播图中的顶点集合，，表示源帖子与其评论之间或两个评论之间的边集，例如，如果 $c_{i2}$ 是 $c_{i1}$ 的评论，那在图中，它们两个之间就会有一条边。为了简单起见，图为邻接矩阵的无向图。此外，用每个节点 $l$ 的词嵌入向量初始化每个节点的表示。

动态知识图谱构建：不仅从源帖子和评论文本中提取知识实体，还对实体之间的结构信息进行建模，以获得更丰富的知识语义。首先引入知识抽取和概念化过程。对于源帖子和评论，分别使用实体链接解决方案TAGME (Assante et al. 2019)和shuyantech (Chen et al. 2018)将模糊实体提及链接到KG中对应的英文和中文文本实体。然后，对于每个被识别的实体，我们通过概念化的方法从现有的KG(如YAGO和Probase)中获取其概念信息。我们利用“isA”关系来得到概念。比如，给定一条短文本，“Welcome to Ferguson where Americans started waking up to the militarization of their police force.”，通过实体链接得到实体集T= {Ferguson unres，Militarization,，Police force}。然后，对T中的实体进行概念化，从外部知识图中获得T的概念集：

按照这个步骤，给定事件，获取实体集和概念集。

每个时间阶段的动态知识图？是第 $r$ 个时间段的知识图，它的顶点集是对应传播图中顶点集、实体集和概念集的组合。注意，我们已经在传播图中构建了帖子和评论之间的边，这里我们在知识图谱中不涉及这些边，而是引入其他类型的边，规则如下：

我们在来自的帖子（或评论）节点和来自的实体节点之间建立一个帖子-实体边，如果帖子（或评论）节点包含一个可以链接到该实体的单词。它们的边权值是根据帖子中实体的TF-IDF设置的。
我们根据它们的点互信息（PMI）构建实体-实体边、实体-概念边、概念-概念边，这是一种广泛使用的关联度量。使用PMI来计算两个节点之间的权重，即实体节点或概念节点。具体来说，我们在所有帖子上使用固定大小的窗口来收集节点共现统计信息。然后，我们按照(Wang et al. 2020)中的步骤计算节点对的PMI。注意，统计数据是基于全局语料库而不是特定的帖子。

在动态知识图的邻接矩阵中，只保留PMI得分为正的实体-实体、实体-概念或概念-概念边和TF-IDF得分为正的帖子-实体边。

我们用动态知识图中每个节点的词嵌入向量初始化其表示。如果一个节点同时存在于中，那么它在两个图中具有相同的初始嵌入。

Dual-Dynamic GCN Module 双动态GCN模块

双动态GCN模块由双静态GCN单元和时间融合单元组成。这两个单位的数量都等于时间阶段的数量。将动态传播图和动态知识图作为输入，并在每个时间阶段依次对它们进行编码。

A single Dual-Static GCN unit 一个单一的双静态GCN单元：采用两个GCNs同时编码动态传播图和动态知识图，同时获得传播级特征和知识级特征。

动态传播图的编码方法（动态知识图的编码方法相似）：为包含传播图中所有 $m_{i}$ 节点特征的矩阵， $F$ 为特征向量的维度，为图 $G$ 中 $u$ 节点的特征向量，图的邻接矩阵为，两层GCN定义为：

规范化对称邻接矩阵（上）

阶矩阵、维度为 $m_{i}$ 的单位矩阵（下）

事件的源帖在辟谣中起着不可或缺的作用。为了充分利用这些信息，受到(Bian et al. 2020)中根特征增强思想的启发，我们将每个节点的隐藏特征向量与从前一层学习到的源帖子的节点向量连接起来，并获得GCN层的增强特征矩阵为：

使用增强特征矩阵替换，更新公式：

等式7的作用是？

动态知识图的获取同上

A Temporal Fusion Unit 时序融合单元：我们从两个GCN中获得了每个时间阶段的节点嵌入。在此基础上，在门控机制的启发下，提出了时序融合单元对节点嵌入进行组合和投影，并将融合嵌入作为下一阶段双静态GCN单元的初始节点嵌入。具体来说，我们结合了三种节点嵌入，即在传播图和知识图上用GCNs学习的两个节点嵌入，以及第一阶段的初始节点嵌入。

第一步：线性转换上一单元中获取的特征矩阵

第二步：拼接。只连接源帖子和评论节点嵌入，因为它们在两个图中都存在。它们第一次的初始节点嵌入都是预训练的词嵌入，因此相同。串联矩阵经过一个线性函数和一个tanh激活函数，生成：

其中将当作下一单元的初始嵌入。

第三步：学习节点嵌入

在等式8、9中，用于强调初始语义信息的重要性。注意，这与之前的源增强方法不同，源增强方法只涉及到源帖子信息，其形式是在前一阶段学习到的节点嵌入。相比之下，我们进一步利用了评论的语义嵌入，并在第一阶段使用它们的初始嵌入，而不是在前一阶段。因此，这两种方法（式10和式4）可以相互补充，相互合作，学习更好的节点嵌入。

Connecting the Above Two Units 连接以上两个单元：

跨阶段图卷积层：

参数说明：

Rumor Classification Module 谣言分类模块

第一步：最后一个TF模块的输出是帖子节点和评论节点表示。使用均值池操作符来聚合来自节点表示的信息：

第二步：将上式得到的表示和源帖子节点表示合并：

第三步：通过全连接层和sigmoid层计算标签：

损失函数：