Convolutional Neural Networks for Sentence Classification

卷积神经网络用于文本分类

整理学习笔记也是把知识系统化的过程。
最近在研究Yoon Kim的一篇经典之作Convolutional Neural Networks for Sentence Classification，这篇文章可以说是cnn模型用于文本分类的开山之作（其实第一个用的不是他，但是Kim提出了几个variants，并有详细的调参）

2 模型

  整个模型的构造如下图所示：

  这里 $x_i\in R^k$是在句子中第i个词的k尺寸词向量。一个句子的长度是n（如果有必要需要对句子做填充处理）表示如下：

$$X_1:n=X_1\bigoplus X_2\bigoplus……\bigoplus X_n \tag{1}$$

  卷积操作中的滤波器大小$w\in R^{hk}$，这个滤波器被用做h个单词上进而产生一个新的特征。例如，一个特征$c_i$的产生是从一个窗口大小的单词$X_{i:i+h-1}$中通过式２产生：

$$c_i=f(W \cdot X_{i:i+h-1} +b \tag{2} )$$
滤波器会被应用在一个句子中每一个可能窗口里的单词 { X1: