Recurrent Convolutional Neural Networks for Text Classification阅读笔记

         下面是我对这篇文章内容的整理，因为刚刚接触这一方向，读的这方面的文章还比较少，知识的了解也不够，如果有不对的地方还请大家批评指正，谢谢！

                                                   RecurrentConvolutional Neural Networks for Text Classification

主要工作：

1.提出一种新的RecurrentConvolutional Neural Networks文本分类方法，不需要人为设定特征。

2.设计三个实验分别用于：各种文本分类模型性能比较、研究窗口大小对神经网络模型的影响、调查所提出的模型是如何表示文本的。

此前方法存在的缺陷：

传统文本文类方法：性能很大程度上依赖于特征的表示和选择，然而，常用的特征的表达方法经常忽略上下文信息、单词在文章中的位置，在获取词汇语义方面达不到令人满意的程度。high-ordern-grams和更为复杂的特征表示方法虽然可以获取上下文信息并且保留词序，但是存在数据稀疏问题。

RecursiveNeuralNetwork递归神经网络：在构建句子表达方面很有效，但是它是基于树结构来表达句意的，性能在很大程度上依赖文本树结构，构建这样的一个树时间复杂度会很高至少是O(n^2)，而且两个句子之间的关系无法通过树的结构表示，所以RecursiveNN不适合对长句子或文档建模。

RecurrentNeuralNetwork循环神经网络：可以能够很好的捕获上下文信息，但他是有偏差的模型，后输入的词要比先输入的词占有更重要的地位，所以在获取整篇文档语义时这种方法就不那么有效了。

ConvolutionalNeuralNetwork卷积神经网络：是个无偏的模型，对比RNN可以很好的获取文档的语义信息，但是为了简化卷积核都采用固定的窗口，难点在于确定窗口大小，太小的窗口可能丢失重要信息，太大的窗口又会扩大参数空间

创新点：

提出一个新的模型RecurrentConvolutional NeuralNetwork并将其用到文本分类当中。首先在学习词的表达的时候，采用双向循环结构获取文本信息，比传统的基于窗口的神经网络更能减少噪声，而且在学习文本表达时可以大范围的保留词序。其次使用最大池化层获取文本主要成分，自动判断哪个特征在文本分类过程中起更重要的作用。

优点：同时利用了RNN和CNN的优点，时间复杂度仅为