论文《Recurrent Convolutional Neural Networks for Text Classification》总结

《Recurrent Convolutional Neural Networks for Text Classification》

论文来源：Lai, S., Xu, L., Liu, K., & Zhao, J. (2015, January). Recurrent Convolutional Neural Networks for Text Classification. In AAAI (Vol. 333, pp. 2267-2273).

原文链接：http://blog.csdn.net/rxt2012kc/article/details/73742362

1.摘要

文本分类是NLP的一项重要的基础任务。传统的文本分类需要特征工程，需要人类参与。而深度学习能够自动提取特征不需要人的参与。本文采用周期循环神经网络比卷积神经网络能够更加减少噪声，利用最大池化层选取一句话中最重要的特征。

2.Introduction

• 文本分类在很多应用中是非常重要的一部分。such as web searching, information filtering, and sentiment analysis。

• feature representation:

  • bag-of-words: where unigrams, bigrams, n-grams or some exquisitely designed patterns are typically extracted as features.
  • several feature selection methods: frequency, MI, pLSA, LDA

  ---

  • 传统的特征表达方法经常忽略了上下文的信息和词序信息，以及语义信息。
  • 高阶n-gram，tree kernels被应用在特征表达，但是也有稀疏的缺点，影响准确性。
  • word embedding： word2vec 能够捕捉更多语法和语义特征。

• Recursive Neural Network

  • 效果完全依赖于文本树的构建，并且构建文本树所需的时间是