【ACL-2021】Compare to The Knowledge: Graph Neural Fake News Detectionwith External Knowledge

目录

一、摘要

二、介绍

三、相关工作

基于社交的假新闻检测

基于内容的假新闻检测

四、模型

有向异构文档图

异构图卷积

实体比较网络

基于KB的实体表示

 实体比较

模型训练


一、摘要

在这篇论文里,提出了一个端到端的模型CompareNet,通过假新闻中的实体对比较了新闻和知识库(KB)。

考虑到假新闻和主题也相关,我们也利用了主题去丰富新闻的表示。

具体来说:

(1)我们首先为每个包含主题和实体的新闻构建一个有向异构文档图。

(2)在这个图的基础上,我们开发了一个异构图注意网络来编码新闻内容。

(3)通过实体比较网络,将上下文实体与相应的基于KB的实体进行比较,获得新闻内容与KB之间的一致性。

(4)最后,将结合了实体比较特征的新闻表示送进分类器。

二、介绍

(1)现有方法的缺点:

a) 没有考虑到文档中句子的互动【真新闻和假新闻有不同的互动模式】

b) 不能充分利用外部知识库【wiki百科有 主-谓-宾 元组 和 实体描述】

(2)作者的做法:

a) 构建 a directed heterogeneous document graph,包含了句子,主题,实体作为节点。

句子之间是双向连接 + 句子和主题之间双向连接 + 句子和实体直接单向连接(原因:学习到新闻的上下文表示,又能保证真实的实体知识对新闻的影响)

b) 开发 a heterogeneous graph attention network 去学习主题丰富的新闻表示和上下文实体表示。

学习到的上下文实体表示和实体比较网络的相应实体对进行比较,以获取新闻内容与外部知识库之间的语义一致性。

c) 结合主题丰富的新闻表示和实体比较特征进入分类器。

【作者将代码和数据集开源:https://github.com/ytc272098215/FakeNewsDetection

(3)本文的贡献:

1、提出了CompareNet结合了外部知识(通过实体)。

2、在CompareNet中,构建了一个包含了主题和实体的图,并且开发了相应的注意力网络去学习主题丰富的新闻表示,还利用了一个新的实体比较网络去比较新闻和KB。

3、大量的实验证明,结合外部信息和主题信息有用。

三、相关工作

基于社交的假新闻检测

用户个人资料、社会关系、基于立场、基于传播

基于内容的假新闻检测

句子之间的交互、依赖于构图的质量

四、模型

有向异构文档图

 对于每一篇文档,构建一个有向异构图。

节点:

sentences S + topics T + entities E

边:

将新闻文件分割成一组句子,边之间双向连接。

每个句子被当成伪文档,被分到top P个相关的主题(使用无监督的LDA)。双向连接。

识别文档中的实体并映射到wikipedia【使用链接工具TAGME】。单向连接,句子->实体

异构图卷积

对节点的编码:

对句子s:使用LSTM去编码 s={w1,w2...wm}得到特征向量X_s\in R^{m}

对实体e:以在KB中学到的实体表示e_{KB} \in R^{M}。(下文会提到)

对主题t:以one-hot编码表示 x_{t} \in R^{K}


下一步:

X \in R^{|V|*M}:代表了所有节点的特征。每一行(维度M)就是一个节点(共|V|个)的特征。

A:邻接矩阵

D:degree矩阵

 第 l+1 层的表示:

公式理解:

 \tau表示的是节点类型。

{\color{Red} {\color{Red} }B_\tau \in \mathbb{R}^{|V|*|V_\tau |} }:代表的是注意力矩阵,行代表所有节点,列表示类型为\tau的邻居节点

(如何计算{\color{Red} B_\tau }?以第v行第v^{'}列为例)

 v是注意力向量,\alpha _ T是type-level的注意力权重,h_v是当前节点v的表示,h_{v^{'}}是邻居节点v^{'}的表示。

(如何计算\alpha _ T?)

(如何计算h_T?)

.........

W_{\tau } ^{l}:是变化矩阵,将不同特征空间的向量投影到同一空间中。


最终,我们得到了句子节点(H_d \in \mathbb{R}^{N})和实体节点(e_c \in \mathbb{R}^{N})的表示向量。

实体比较网络

基于KB的实体表示

本节将介绍如何利用KB里的 结构化的 主谓宾 triplets 和非结构化的实体描述去学习实体表示e_{KB}

结构化embedding:

使用TransE,对于给定的(h,r,t),TransE将关系r作为翻译向量(从头h到尾t的翻译向量,即h+r=t)

文本embedding:

对于每个实体,使用wiki的第一段话作为描述。使用LSTM编码描述得到 e_d \in \mathbb{R}^{M}

门控:

 实体比较

计算出比较向量a_i

 

 最终得到了比较向量C \in \mathbb{R}^{N}(通过对A = [a_1,a_2...a_n]进行max-pooling)

模型训练

C:比较向量

H_d:文档表示向量



好多问题、、

  • 3
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值