CNN做文本分类《Effective Use of Word Order for Text Categorization with Convolutional Neural Networks》

原文链接
本文发表于自然语言处理领域顶级会议 NAACL 2015

摘要

本文将CNN用于文本分类任务，没有像传统方法那样采用低维词向量作为输入，而是采用高维，还提出了一种在卷积中使用的词袋转换的变体，为了提高准确率，还探索了将多个卷积层结合的方法，实验表明效果不错。

模型

1.bow-CNN for text
假设我们有一个词库 $V=\lbrace 我，他，它，爱，你 \rbrace$
那么我们将词库中每个词onehot表示，这样每个词就成了一个五维向量，比如“我”就能被表示为：$[1,0,0,0,0]$ ，“它”被表示为 $[0,0,1,0,0]$
这样一来，一句话“我爱你”就可以被表示为 $[1,0,0,0,0,0,0,0,1,0,0,0,0,0,1]$，
由此可见，采用这种方式，一个文本case可以被表示为一个 $p|V|$ 维的向量，其中 $p$ 为case序列的长度， $|V|$ 为词表的size。
CNN用于文本问题和图像问题有一个本质的区别，就是图像一般只有RGB三个通道，而文本的通道数量则取决于词库的大小，很可能有上千上万维，而维数与参数的个数密切相关，向量的维度越高则代表所需要学习的参数越多，这样一来会使模型过拟合，并且学习速度特别慢。
解决上述问题的方式为采用词袋模型。
将单个case的维度从 $p|V|$ 维降到 $|V|$ 维，即将一个序列中的每个单元的embedding向量给加起来。比如“我爱你”就可以表示为 $[1,0,0,1,1]$
2.Pooling for text
由于每一条句子的长度是不固定的，所以卷积层的输出长度也是不固定的，如图所示：

使用动态pooling的方式可以解决这个问题，通过固定pooling单元的数目，然后动态的改变pooling区域的大小来实现。
3.Extension: parallel CNN

首先将句子序列中每个词onhot表示，然后可以通过不同size的卷积池化层来对其进行特征抽取，得到结果之后再进行concat，然后再接全连接输出层进行输出。