【转】TextCNN

本文摘自：https://zhuanlan.zhihu.com/p/40651970

CNN 文本分类

采取 CNN 方法进行文本分类，相比传统方法会在一些方面有优势。

                                         基于词袋模型的文本分类方法，没有考虑到词的顺序。

基于卷积神经网络（CNN）来做文本分类，可以利用到词的顺序包含的信息。如图展示了比较基础的一个用 CNN 进行文本分类的网络结构。CNN 模型把原始文本作为输入，不需要太多的人工特征。CNN 模型的一个实现，共分四层：

 

• 第一层是词向量层，doc 中的每个词，都将其映射到词向量空间，假设词向量为 k 维，则 n 个词映射后，相当于生成一张 n*k 维的图像；
• 第二层是卷积层，多个滤波器作用于词向量层，不同滤波器生成不同的 feature map；
• 第三层是 pooling 层，取每个 feature map 的最大值，这样操作可以处理变长文档，因为第三层输出只依赖于滤波器的个数；
• 第四层是一个全连接的 softmax 层，输出是每个类目的概率，中间一般加个 dropout，防止过拟合。

 

有关 CNN 的方法一般都围绕这个基础模型进行，再加上不同层的创新。

 

比如第一个模型在输入层换成 RNN，去获得文本通过 rnn 处理之后的输出作为卷积层的输入。比如说第二个是在 pooling 层使用了动态 kmax pooling，来解决样本集合文本长度变化较大的问题。比如说第三种是极深网络，在卷积层做多层卷积，以获得长距离的依赖信息。CNN 能够提取不同长度范围的特征，网络的层数越多，意味着能够提取到不同范围的特征越丰富。不过 cnn 层数太多会有梯度弥散、梯度爆炸或者退化等一系列问题。

 

为了解决这些问题，极深网络就通过 shortcut 连接。残差网络其实是由多种路径组合的一个网络，残差网络其实是很多并行子网络的组合，有些点评评书残差网络就说它其实相当于一个 Ensembling。