这篇文章解决的问题
作者认为,之前的工作都将源推文独立的建模, 而没有考虑不同节点之间的影响,所以没有很好的表示出不同节点之间的关系
作者如何解决这个问题的
作者提出了一个全局-局部的注意力网络(GLAN来检测谣言),编码局部的语义信息和全局的结构信息,模型如下图所示:
作者先用多头自注意力机制,利用推文和转发推文来编码局部语义信息,再将得到的语义信息和用户信息构建出一个异构图,借助注意力机制得到全局编码表示。
1)Local Context Representation
这部分就是编码原推文和转发推文之间的关系,图中红色圈圈的部分,最后的结果是m~
①首先,作者使用注意力机制定义转发推文的特征表示,公式如下:
②然后利用交叉注意力计算原推文和转发之间的联系:用原推文m作为K,去计算得到每一个转发推文R的注意力分数s,然后利用该分数聚合转发推文形成新的文本的表示r,公式如下:
③然后原推文就有了两个表示,m和s,为了知道哪个特征表示更重要,作者使用了一个融合门:
2)Global Relation Encoding
全局信息其实就是编码m~和u之间的关系,m~是上面通过局部编码得到的推文的特征表示,u就是用户,这两种节点形成了一个异构图,模型图的右下部分就是
①首先是表示两种节点
其中m0和u0是通过梯度动态变化的,m~和uf是固定的值
②然后将两个节点转化到相同语义空间
Wm和Wu是可学习参数
③计算注意力机制
图中一共两种关系:以用户为中心的关系和以推文为中心的关系,为了将两种关系信息编码到全局信息中,采用如下注意力机制:
④采用多头注意力以捕获不同关系的更多特征表示
详细算法步骤如下:
输入图,得到节点的潜在特征表示
3)Rumor Classification
利用得到的局部和全局特征来分类
然后利用交叉熵损失优化
这个问题的解决有什么亮点,局限
这是第一个采用异构网络建模全局结构特征和局部语义信息的模型,将各个推文整合到一起,相互作用,而不是单独建模。
作者没有考虑每一个用户的特征,即节点自身的表示对谣言的影响,只对推文和转发推文文本建模,而忽略了对推文图像特征的特征表示。