谣言检测论文精度——14.2019-Jointly embedding the local and global relations of heterogeneous graph

这篇文章解决的问题

作者认为,之前的工作都将源推文独立的建模, 而没有考虑不同节点之间的影响,所以没有很好的表示出不同节点之间的关系

作者如何解决这个问题的

作者提出了一个全局-局部的注意力网络(GLAN来检测谣言),编码局部的语义信息和全局的结构信息,模型如下图所示:
在这里插入图片描述
作者先用多头自注意力机制,利用推文和转发推文来编码局部语义信息,再将得到的语义信息和用户信息构建出一个异构图,借助注意力机制得到全局编码表示。
1)Local Context Representation
这部分就是编码原推文和转发推文之间的关系,图中红色圈圈的部分,最后的结果是m~

①首先,作者使用注意力机制定义转发推文的特征表示,公式如下:
在这里插入图片描述
②然后利用交叉注意力计算原推文和转发之间的联系:用原推文m作为K,去计算得到每一个转发推文R的注意力分数s,然后利用该分数聚合转发推文形成新的文本的表示r,公式如下:
在这里插入图片描述
③然后原推文就有了两个表示,m和s,为了知道哪个特征表示更重要,作者使用了一个融合门:
在这里插入图片描述
2)Global Relation Encoding
全局信息其实就是编码m~和u之间的关系,m~是上面通过局部编码得到的推文的特征表示,u就是用户,这两种节点形成了一个异构图,模型图的右下部分就是

①首先是表示两种节点
在这里插入图片描述
其中m0和u0是通过梯度动态变化的,m~和uf是固定的值

②然后将两个节点转化到相同语义空间
在这里插入图片描述
Wm和Wu是可学习参数

③计算注意力机制
图中一共两种关系:以用户为中心的关系和以推文为中心的关系,为了将两种关系信息编码到全局信息中,采用如下注意力机制:
在这里插入图片描述
④采用多头注意力以捕获不同关系的更多特征表示
在这里插入图片描述

详细算法步骤如下:
输入图,得到节点的潜在特征表示
在这里插入图片描述

3)Rumor Classification
利用得到的局部和全局特征来分类
在这里插入图片描述
然后利用交叉熵损失优化
在这里插入图片描述

这个问题的解决有什么亮点,局限

这是第一个采用异构网络建模全局结构特征和局部语义信息的模型,将各个推文整合到一起,相互作用,而不是单独建模。
作者没有考虑每一个用户的特征,即节点自身的表示对谣言的影响,只对推文和转发推文文本建模,而忽略了对推文图像特征的特征表示。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值