对《Rumor Detection on Twitter with Tree-structured Recursive Neural Networks》 解读

对《Rumor Detection on Twitter with Tree-structured Recursive Neural Networks》 解读

这篇是目前我从事谣言检测方向以来第二篇论文。这个论文可从标题中可以看出是用树状rnn作为架构来进行谣言检测任务。此论文讲述了两种模型，一个是从底向上模型，另一个从上到下模型。以下进行一一介绍。

Introduction

谣言检测任务是对一段话，在这里我们认为是微博就好了。我们对此进行检测，将其判别为是谣言，不是谣言。。。其他的分类。

我们为啥提出如题目的那种模型呢？

我们或许从图上可以获得结论。

在我第一篇博客已经介绍过，我们在发微博时候，底下有些用户对此进行评论。这些评论包括几种形式，有的用户是直接对微博进行评论，有的用户是对评论中的用户进行评论。所以这就使得在微博中会有分支现象出现。在这里我们仅对一条分支进行讨论。

对于如图a 那样，这是对假的谣言进行检测。当我们第一个用户认为此条微博是不是谣言的时候，后面的用户对这条用户所发的评论表示支持。这就使得当谣言进行传播时候，认定这条微博是假的谣言立场变得越来越坚定。

同样，对于图b，root节点表示的是真的谣言。取第二条分支来说，直接用户认为这是虚假的谣言，随即第二用户反驳了第一用户的观点，认为此条微博是真的谣言。第三个用户又表示对第二用户支持。这就增强了此条微博是真谣言的表现力。

由于RNN 通常是处理时序序列的模型，而且每条微博有许多分支。这就可以用树形rnn来进行这个任务。

model

如图3 所示，此论文提出来两个模型，分别是(b),（c） 。两个模型都是用rnn进行训练。其中rnn 此论文使用的GRU，给出的解释是因为GRU 里边的参数较少，有更好的效率。

Bottom-up RvNN model

xj 为微博或用户的评论的向量化表示，即用了词向量。 通过E转换矩阵将其转换成xj!(本人比较菜，不知怎么打那个符号) 。在b图中，应该已经发现从根节点下来有许多分支，每个节点的隐藏向量值是由其下子节点计算而来。但是在我们一般用GRU时，都是一个分支来计算的，这里出现了分支，该怎么计算呢？ 这里第二个公式给出了答案。将子节点的隐藏向量进行累和，转换为一个向量，这就有是传统GRU 处理方式了。接下来，计算重置门，遗忘门，最后得到此节点的隐藏向量。经过一步一步传播，到达根节点，根据softmax 选取最大的概率值代表的那个类别作为我们的类别。

Top-down RvNN

此公式与从上到下模型公式大同小异。只不过没有了将子节点隐藏向量合起来那一步。 从上到下的模型是一个传播模型，通过分支的方向能模拟微博的传播过程。它的计算方式是分支进行的，每条分支可以认为我们传统RNN那种运算模式，从图3 最右边模型可以看出。

随着传播一步一步进行，我们终究会到达最低端。由于叶子节点数量的不确定性，所以没法将最后的叶子节点向量输入到固定的网络层。所以最后加了max-pooling 层，提取每个维度最大值组合成整个向量，代表我们我们整个微博信息。随后加了softmax层进行分类。

经过实验得出 从上到下模型比从下到上表现的效果较好。论文认为从下到上模型最后的输出只依赖根节点的向量，它的信息要比从上到下的模型较少，毕竟从上到下模型是依靠传播来刻画的，分支有很多的信息。

Dataset

twitter15， twitter16