TextCNN原理
TextCNN是一种应用于文本分类的卷积神经网络,由Yoon Kim 在Convolutional Neural Networks for Sentence Classification 一文中提出。
extCNN的网络结构如图所示,由词嵌入层,卷积层,最大池化层和全连接层组成。
词嵌入层:假设输入是n词的句子,词嵌入维度为d,通过使用预训练好的词向量,词嵌入层的映射将其映射为n×d的二维矩阵。
卷积层:词嵌入层的输出输入到具有多种不同卷积核的卷积层做卷积。卷积的具体过程如下图所示,卷积核的参数为k×d×m,k代表卷积核的长度,图二中k∈[1,2,3](实际我的代码中设置为1,2,3,4,5);d代表卷积核的宽度,与词嵌入维度相同;m代表卷积核的个数。红色的横框就是所谓的卷积核,红色的竖框是卷积后的结果。图中上下方向是文本的序列方向,卷积核只能沿着“上下”方向移动,步长为1。如一个卷积核kernel的大小为2×d,则卷积后得到的结果是|n-2+1|×1的一个向量,m个卷积核生成|n-2+1|×m的二维矩阵。有3种不同尺度的卷积核,则会生成3个不同大小的二维矩阵,分别是n×m,|n-1|×m,|n-2|×m。
最大池化层:卷积层输出的3个不同大小的二维矩阵,经过最大池化层后为三个1×m的向量,拼接在一块,得到最终的3m×1的向量。
全连接层:将最大池化层输出的一维向量进行分类判断。
Pytoch代码实现TextCNN文本分类
使用wordembeddings来实现,数据集为ThuCnews
数据预处理代码在NLP实践二:分词的基本概念与生成词向量矩阵
训练函数定义与数据加载代码在NLP实践六:Fasttext实现文本分类
模型定义
class TextCNN(nn.Module):
def __init__(self,kernel_num,kernel_size,word_embeddings):
super(TextCNN, self).__init__()
self.embed_size=200
self.stride = 1
self.kernel_size = kernel_size
self.kernel_num = kernel_num
self.embed_dropout