TextRCNN论文笔记

TextRCNN是2015年中科院发表的一篇文本分类的论文，TextRCNN实际是将RNN和CNN进行结合，先使用双向RNN获取输入文本的上语义和语法信息，接着使用最大池化自动地筛选出最重要的特征。然后接一个全连接层用于分类。下面详细介绍下论文的重要部分。
论文链接：Recurrent Convolutional Neural Networks for Text Classification

1 文章的主要贡献

提出了TextRCNN用于文本分类，并通过实验验证了RCNN在中英文的文本分类任务上都取得了较好的效果。
论文提出的RCNN实际上是综合了RNN和CNN的优点。作者认为，使用RNN处理输入序列时，是对输入序列的词按照次序进行处理，它通过隐藏层储存了之前的序列信息，能更好地获取上下文信息。然而RNN是有偏模型，后面输入的词的重要性要高于之前的词，而实际上一个文本中后面的词并不一定是最重要的词，最重要的词可能出现在文本的任何地方。而CNN则是无偏模型，通过最大池化来自动地筛选文本中重要的词，能够解决RNN有偏的问题。然而CNN是通过使用一定尺寸的窗口来提取特征（卷积操作），窗口的尺寸实际很难确定，尺寸太小则会丢失重要的信息，尺寸过大导致参数过多且难以训练。为了结合RNN和CNN的优点，论文提出了TextRCNN模型。

2 TextRCNN的结构

TextRCNN的结构为：