谣言检测论文精读——1.IJCAI2016-Detecting Rumors from Microblogs with Recurrent Neural Networks

论文读后笔记+小结

1.Abstract

本文提出了一种学习微博事件的连续表示以识别谣言的新方法。 所提出的模型基于循环神经网络 (RNN)，用于学习捕获相关帖子的上下文信息随时间变化的隐藏表示。 来自两个真实世界微博平台的数据集的实验结果表明：

1. RNN 方法优于使用手工特征的最先进的谣言检测模型；
2. 基于 RNN 的算法的性能通过复杂的循环单元和额外的隐藏层进一步提高；
3. 基于RNN的方法比现有技术更快速、更准确地检测谣言，包括领先的在线谣言揭穿服务。

2.Introduction

这一部分主要讲述了之前的技术以及使用RNN的原因和结果
使用RNN的原因：
因为 RNN 中单元之间的连接形成了一个直接循环并创建了网络的内部状态 [LeCun et a/., 2015, 图 5]，这可能允许它捕获谣言传播的动态时间信号特征。
利用 RNN，我们将事件的社会背景信息建模为可变长度的时间序列。 我们假设人们在接触谣言声明时会转发声明或对其发表评论，从而创建连续的帖子流。 这种方法在监督下从谣言帖子中学习时间和文本表示。 对两个真实世界微博数据集的大量实验表明，基于 RNN 的方法产生了出色的性能。 该模型还被证明对早期发现谣言是有效的，在初始传播后仅几个小时就可以达到足够的准确性。

contribution

• 据我们所知，这是第一项使用深度学习模型进行微博谣言检测的研究。 基于 RNN 的模型对依赖手工特征的最先进的学习算法进行了显着改进。 该模型具有更大的可扩展性，并且可以通过复杂的循环单元和额外的隐藏层比现有方法更准确地检测谣言。
• 基于RNN 的模型进一步允许早期检测，与现有基线（例如领先的在线谣言揭穿服务）相比，表现出明显的功效。
• 我们为该任务构建了两个带有真实标签的微博数据集，总共包含超过 5,000 个声明，可扩展到 500 万篇相关微博帖子。 我们将这个大型谣言数据集完全公开以用于研究目的。

3.RNN: Recurrent Neural Network

该部分主要介绍了RNN以及LSTM和GRU单元，讲述了他们的算法流程，如果想详细了解，可以参考我的博客，RNN，LSTM，GRU

4.RNN-based Rumor Detection

这一部分主要介绍如何将第三部分的算法用在谣言检测中

首先将微博帖子的传入流转换为连续变长时间序列

每一个微博下面可能都有评论，而且评论有时间序列，对应RNN的输入，但是有的微博下面的评论可能是千万个，对此建模的RNN序列会非常长，是非常耗时且成本高。 因此，可以将帖子分批成时间间隔，并将它们视为时间序列中的单个单元，然后使用 RNN 序列对其进行建模。 采用RNN序列的参考长度来构建时间序列。 应正确捕获代表扩散中的帖子密集的时间跨度； 采用的时间间隔数量近似于 RNN 的参考长度。
下面的算法描述了该过程：

最初，我们将整个时间线平均分为 N 个间隔（即 N 是参考长度）。 然后，我们的系统尝试通过删除集合 Uq 中的空区间来发现非空区间 U’ 的集合（即 U’ 中的每个区间至少有一条推文，删除没有评论的时间区间），选取最多的连续的非空的时间间隔数目的集合U 。 如果 U 中的区间数低于 N 且区间数多于上一轮，我们将区间减半，继续分区； 否则，它返回由 U 给出的已发现的连续间隔。这样就有很大的机会使连续的时间间隔数变多， 更容易达到N的数量。

然后描述具有不同类型隐藏单元和层的 RNN 进行分类

简要介绍三个模型：
图(a)是tanh-RNN 是基本结构，其中隐藏单元没有门控。 因此，它可以以有限的方式跨时间间隔捕获上下文。
图(b)中带有门机制，为LSTM或者GRU模型可以捕获句子长时间依赖，然而，由于门控单元，参数的规模显着扩大。 例如，由于引入了重置门和更新门，GRU 将原始参数空间增加了三倍。 为了降低复杂度，在输入层和隐藏层之间添加了一个嵌入层（固定长度为 100），使得参数的整体规模变得更小。
图©通过添加第二个 GRU 层来进一步开发基于 GRU 的多层结构，该层捕获不同时间步长之间的更高级别的特征交互。
公式如下图：

5.Experiments and Results

这部分就是实验和结果展示
该实验使用的是 Twitter (www.twitter.com) 和新浪微博 (weibo.com) 构建了两个微博数据集。
表 2 显示了所有系统的性能。 我们的模型在两个数据集上都优于所有基线。 最简单的 RNN 模型 tanh-RNN 在 Twitter 上的准确率达到 82.7%，在微博上达到 87.3%。 这一结果表明，基本的 RNN 可以有效地学习判别特征。 所有基线都采用手工制作的功能或规则； 因此，它们在学习深度潜在特征及其相关性方面受到限制。

图 3 显示了基于 RNN 的方法的学习曲线。 在这两个数据集中，GRU 和 LSTM 比 tanh-RNN 收敛得更快，损失更低。

图 4 显示了我们的模型在不同期限内与 SVMTS（表 2 中的最佳基线）和 DT-Rank（一种早期检测特定算法）的准确性。 在最初的几个小时内，基于 RNN 的方法的准确率上升更快，稳定更快，表明我们的方法具有优越的早期检测性能。 特别是，GRU-2 可以在 12 小时内以 83.9% 的 Twitter 和微博 89.0% 的准确率检测谣言，这比基线和平均官方报告时间要早得多。