NLP实践七：TextCNN原理与代码实践

TextCNN原理

TextCNN是一种应用于文本分类的卷积神经网络，由Yoon Kim 在Convolutional Neural Networks for Sentence Classification 一文中提出。

extCNN的网络结构如图所示，由词嵌入层，卷积层，最大池化层和全连接层组成。
词嵌入层：假设输入是n词的句子，词嵌入维度为d，通过使用预训练好的词向量，词嵌入层的映射将其映射为n×d的二维矩阵。
卷积层：词嵌入层的输出输入到具有多种不同卷积核的卷积层做卷积。卷积的具体过程如下图所示，卷积核的参数为k×d×m，k代表卷积核的长度，图二中k∈[1,2,3]（实际我的代码中设置为1,2,3,4,5）；d代表卷积核的宽度，与词嵌入维度相同；m代表卷积核的个数。红色的横框就是所谓的卷积核，红色的竖框是卷积后的结果。图中上下方向是文本的序列方向，卷积核只能沿着“上下”方向移动，步长为1。如一个卷积核kernel的大小为2×d，则卷积后得到的结果是|n-2+1|×1的一个向量，m个卷积核生成|n-2+1|×m的二维矩阵。有3种不同尺度的卷积核，则会生成3个不同大小的二维矩阵，分别是n×m，|n-1|×m，|n-2|×m。

最大池化层：卷积层输出的3个不同大小的二维矩阵，经过最大池化层后为三个1×m的向量，拼接在一块，得到最终的3m×1的向量。
全连接层：将最大池化层输出的一维向量进行分类判断。

Pytoch代码实现TextCNN文本分类

使用wordembeddings来实现，数据集为ThuCnews
数据预处理代码在NLP实践二：分词的基本概念与生成词向量矩阵
训练函数定义与数据加载代码在NLP实践六：Fasttext实现文本分类

模型定义

class TextCNN(nn.Module):

    def __init__(self,kernel_num,kernel_size,word_embeddings):
        super(TextCNN, self).__init__()



        self.embed_size=200

        self.stride = 1
        self.kernel_size = kernel_size
        self.kernel_num = kernel_num

        self.embed_dropout