TextCNN模型原理
在2014年,Yoon Kim针对CNN的输入层做了一些变形,提出了文本分类模型textCNN。与传统图像的CNN网络相比, textCNN 在网络结构上没有任何变化, 从下图可以看出textCNN 其实只有一层卷积,一层max-pooling, 最后将输出外接softmax 来n分类。
TextCNN详细过程:
**· Embedding:**第一层是图中最左边的7乘5的句子矩阵,每行是词向量,维度=5,这个可以类比为图像中的原始像素点。
**·Convolution:**然后经过 kernel_sizes=(2,3,4) 的一维卷积层,每个kernel_size 有两个输出 channel。
**·MaxPolling:**第三层是一个1-max pooling层,这样不同长度句子经过pooling层之后都能变成定长的表示。
**·FullConnection and Softmax:**最后接一层全连接的 softmax 层,输出每个类别的概率。
通道(Channels):
图像中可以利用 (R, G, B) 作为不同channel;
文本的输入的channel通常是不同方式的embedding方式(比如 word2vec或Glove),实践中也有利用静态词向量和fine-tunning词向量作为不同channel的做法。
与图像当中CNN的网络相比,textCNN 最大的不同便是在输入数据的不同:
1.图像是二维数据, 图像的卷积核是从左到右, 从上到下进行滑动来进行特征抽取。
2.自然语言是一维数据, 虽然经过word-embedding 生成了二维向量,但是对词向量做从左到右滑动来进行卷积没有意义.
TextCNN的成功, 不是网络结构的成功, 而是通过引入已经训练好的词向量来在多个数据集上达到了超越benchmark 的表现,进一步证明了构造更好的embedding, 是提升nlp 各项任务的关键能力。
TextCNN的网络结构如下:
TextCNN实验
本次实验目标是使用TextCNN以及清华NLP组提供的THUCNews新闻文本分类数据集的子集实现文本分类。
数据集下载
数据集下载地址
由于数据集规模较为庞大,使用个人电脑CPU处理较慢,故训练集只使用其子集共50000条数据,其中共十种类别,每种类别5000条。
数据预处理
获取停用词:
stopwords_path = 'D:\python project/baidu_stopwords.txt'
stopwords = open(stopwords_path).read().split('\n')
采用jieba分词建立分词函数
import jieba
def cut(sentence):
return [token for token in jieba.lcut(sentence) if token not in stopwords]
建立词表(包含文本经过分词后除去停用词后所有词语的表,为构建词向量矩阵做准备):
import torchtext
import torch
#声明一个Field对象,对象里面填的就是需要对文本进行哪些操作,比如这里lower=True英文大写转小写,tokenize=cut对于文本分词采用之前定义好的cut函数,sequence=True表示输入的是一个sequence类型的数据,还有其他更多操作可以参考文档
TEXT = torchtext.data.Field(sequential=True,lower=True,tokenize=cut)
#声明一个标签的LabelField对象,sequential=False表示标签不是sequence,dtype=torch.int64标签转化成整形
LABEL = torchtext.data.LabelField(sequential=False, dtype=torch.int64)
#这里主要是告诉torchtext需要处理哪些数据,这些数据存放在哪里,TabularDataset是一个处理scv/tsv的常用类
train_dataset,dev_dataset,test_dataset = torchtext.data.TabularDataset.splits(
path='D:/python project/TextCNN/cnews', #文件存放路径
format='tsv', #文件格式
skip_header=False, #是否跳过表头,我这里数据集中没有表头,所以不跳过
train='train.tsv',
validation='dev.tsv',
test='test.tsv',
fields=[('label',LABEL),('content',TEXT)] # 定义数据对应的表头
)
定义预训练词向量(收敛速度更快):
pretrained_name = 'sgns.sogou.word' # 预训练词向量文件名
pretrained_path = 'D:、python project/TextCNN/word_embedding' #预训练词向量存放路径
vectors = torchtext.vocab.Vectors(name=pretrained_name, cache=pretrained_path)
调用torchtext