在自然语言的文本分类中，主要使用两类模型，一类是使用传统的机器学习模型，如朴素贝叶斯，最大熵，支持向量机等，第二类就是使用神经网络模型，包括CNN和RNN。传统的机器模型在分类前首先要做特征工程，例如把文本转换成词袋，并转化为TF-IDF矩阵，然后再做分类。而使用神经网络模型可以使它自己提取特征并进行文本分类，并能获得优于传统机器学习模型的能力。
CNN模型的文本分类
CNN原来是用于对图像分类，后来按照其形式用到了对自然语言处理上，处理原理相同，首先是对句子的每一个词生成一个实值的词向量，然后按照句子合并成一个词向量矩阵，这个词向量矩阵就相当于一个图像的像素，剩下的就如同图像处理一样，使用卷积核进行卷积以及进行池化等。
Kim使用了CNN对句子进行分类。具体模型形式如下：
让 x i ∈ R k x_i\in R^k xi∈Rk为一个句子中第 i i i个单词的词向量，向量维度为 k k k，句子的长度为 n n n，则整个句子的向量为：
(1) x 1 : n = x 1 ⊕ x 2 ⊕ ⋯ ⊕ x n x_{1:n} = x_1\oplus x_2\oplus\cdots\oplus x_n\tag{1} x1:n=x1⊕x2⊕⋯⊕xn(1)
其中， ⊕ \oplus ⊕为连接算子，则 x 1 : n x_{1:n} x1:n的维度为 n k nk nk。
让 x i : i + j x_{i:i+j} xi:i+j为词向量 x i , x i + 1 , ⋯   , x i + j x_i,x_{i+1},\cdots,x_{i+j} xi,xi+1,⋯,xi+j的连接，卷积核为 w ∈ R h k w\in R^{hk} w∈Rhk，其中， h h h为卷积的窗口大小，则从窗口中的词向量产生的特征 c i c_i ci为：
(2) c i = f ( w ⋅ x i : i + h + b ) c_i=f(w\cdot x_{i:i+h}+b)\tag{2} ci=f(w⋅xi:i+h+b)(2)
其中， b ∈ R b\in R b∈R为偏置， f f f为非线性函数，例如 t a n h tanh tanh等。然后，卷积核应用于句子的每个可能的窗口 { x 1 : h , x 2 : h + 1 , ⋯   , x n − h + 1 : n } \{x_{1:h},x_{2:h+1},\cdots,x_{n-h+1:n}\} {
x1:h,x2:h+1,⋯,xn−h+1:n}，产生一个特征图：
(3) c = [ c 1 , c 2 , ⋯   , c n − h + 1 ] c = [c_1,c_2,\cdots,c_{n-h+1}]\tag{3} c=[c1,c2,⋯,cn−h+1](3)
其中， c ∈ R n − h + 1 c\in R^{n-h+1} c∈Rn−h+1。然后对特征图进行最大池化操作来获取最重要的特征 c ^ = m a x { c } \hat c=max\{c\} c^=max{
c}
为了获取多个特征可以使用多个卷积核。Kim使用了2个通道，每个通道用2个卷积核，这样共生成4个特征图。这两个通道中，一个是在训练中保持不变，即词向量是不变的，另一个通道在训练中通过后向传播对词向量进行修正。
Kim对最大池化层进行了dropout正则化，假设得到的最大池化层为 z = [ c ^ 1 , ⋯   , c ^ m ] z=[\hat c_1, \cdots, \hat c_m] z=[c^1,⋯,c^m]，则前向传播中，dropout使用：
(4) y = w ⋅ ( z ∘ r ) + b y = w\cdot(z\circ r)+b\tag{4} y=w⋅(z∘r)+b(4)
其中， ∘ \circ ∘为按元素乘积， r ∈ R m r\in R^m r∈Rm为以概率 p p p为1的Bernnoulli随机变量，此向量又被称为“遮盖向量”，也就是在梯度后向传播中不经过这些遮盖住的单元。在测试的时候，学习权重变为 w ^ = p w \hat w = pw w^=pw，这个 w ^ \hat w w^用于预测新的句子 。Kim又对 w w w做了约束为 ∣ ∣ w ∣ ∣ 2 = s ||w||_2=s ∣∣w∣∣2=
最低0.47元/天 解锁文章
741
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
