最近在学习文本对抗虚假新闻分析的内容,学习这篇识别虚假新闻的经典论文,下文是我对这篇论文的简单概括和理解,大致写了这个团队对虚假新闻如何辨别的分析,略显粗糙,有补充和错误请各位指正!
摘要
改论文提出了一个虚假新闻检测模型,本质上实现了一个分类任务,输入为新闻内容和用户评论,输出为分类标签(是否为虚假新闻)。
介绍
- 为什么要使用新闻+用户评论的方式?因为单单从新闻内容的角度来分析是否是虚假新闻很有困难,同时,新闻和部分用户评论是高度相关的,因此将新闻内容加上评论。
- Explainable?现在已有的深度方法基本上是通过学习新闻层面的特征,但是并没有一个更加深层的解释,为什么这个特征使他成为虚假新闻
相关工作
将新闻内容每个句子进行编码,将每个句子中的的单词进行编码。
网络结构
网络结构
- word&sentence编码器
- 用户评论编码器
- 新闻–评论共同注意力组件
- 虚假新闻预测组件
新闻内容编码
单词编码
通常RNN为常见的神经网络单词编码,但是新闻内容常常非常的长,所以长期记忆会随着序列的增加而变长,因此,我们增加了GRU单元,确保更加持久的记忆力。为了更能够找到单词和单词之间的关联,我们使用双向GRU,即前向传播GRU和反向传播GRU,w为单词向量,从左到右和从右到左
由于不是所有的单词能够表达句子的意思,因此使用一种注意力方法来学习单词,对其进行一个加权。
句子编码
同样使用RNN+GRU单元的方式,使用双向GRU对每个句子进行编码,算法公式同上单词编码
用户评论编码
由于用户评论通常是简短的,所以直接使用RNN取对单词序列进行编码就行了。同时使用双向GRU对评论中的单词序列进行建模。同样使用注意力来衡量每个单词的重要性。
Sentence-Comment Co-attention
由于评论有很多,不是每个评论对判断虚假新闻都是有帮助的,所以需要选择用户评论对应的新闻语句。
我们使用 Sentence-Comment Co-attention来捕捉新闻内容和评论的语义亲和力,同时学习句子和评论的注意力权重。
方法和公式如下:
dEFEND
将句子和评论结合,使用softmax激活函数,使用交叉熵损失函数,使用RMSprops优化器。