论文《Convolutional Neural Networks for Sentence Classification》总结

《Convolutional Neural Networks for Sentence Classification》

论文来源： Kim Y. Convolutional neural networks for sentence classification[J]. arXiv preprint arXiv:1408.5882, 2014.

文章链接：http://blog.csdn.net/rxt2012kc/article/details/73739756

1.Introduction

• 在Introduction部分中，第一段作者讲述了深度学习在计算机视觉，语音识别等领域拥有了显著的成果。近年来在自然语言处理中，主要包括词向量的研究，以及训练文本，将文本转化为词向量进行进一步的文本分类。将之前稀疏的1-V（词典的大小）转化为特定维度的向量，相当于初步将文本中的情感特征加在了词向量中。通过词向量的转化，语义相近的词距离也相近，比如余弦距离。

• 第二段讲述了利用CNN卷积器来提取特征。最开始被应用在计算机视觉，但是后来被研究应用在了自然语言处理里面的语义解析、搜索、语句模型等传统的自然语义处理任务，并且取得了显著的效果。

• 第三段介绍本文的内容，本文的词向量来源于谷歌利用word2vec模型预训练的Google News词向量。在本文中分两种通道，一种是static（预训练的词向量保持不变），一种是nonstatic（预训练的词向量也会被调整）。

• 第四段说本文应用于多个领域的分类问题，每个领域模型提取不同的特征，但都能适用。

2.Model

• 如Figure1所示，每个句子中的词（中文需要先进行分词）转化为词向量，词向量的维度为k，如果一个句子中的词个数为m，则该句最终表示为 m * k 的词向量矩阵。假设文档中最长的句子中的词个数为n，则 小于n 的句子填充为m。最终得到的词向量矩阵为 n * k。

• 1维卷积器的长度h分别为3，4，5。卷积器的尺度为3 * k，4 * k, 5 * k。卷积器的数量分别为n0, n1, n2，在实验中，都取100。

• 3种卷积器与矩阵分别做卷积，得到（n - h + 1）* 1 * 100的矩阵, 卷积过程如公式（1）所示。