卷积神经网络用于文本分类
整理学习笔记也是把知识系统化的过程。
最近在研究Yoon Kim的一篇经典之作Convolutional Neural Networks for Sentence Classification,这篇文章可以说是cnn模型用于文本分类的开山之作(其实第一个用的不是他,但是Kim提出了几个variants,并有详细的调参)
2 模型
整个模型的构造如下图所示:
这里 xi∈Rk 是在句子中第i个词的k尺寸词向量。一个句子的长度是n(如果有必要需要对句子做填充处理)表示如下:
X1:n=X1⨁X2⨁……⨁Xn(1)
卷积操作中的滤波器大小 w∈Rhk ,这个滤波器被用做h个单词上进而产生一个新的特征。例如,一个特征 ci 的产生是从一个窗口大小的单词 Xi:i+h−1 中通过式2产生:
ci=f(W⋅Xi:i+h−1+b)(2)
滤波器会被应用在一个句子中每一个可能窗口里的单词 { X1: