本文介绍一个NLP中的常用模型——TextCNN。数据集来自天池新闻文本分类比赛数据,这里的文本已经经过匿名处理,可以到天池比赛地址下载数据集和查看模型在测试集上最终表现。
import tensorflow as tf
import pandas as pd
import matplotlib.pyplot as plt
from tensorflow.keras import layers
from sklearn.model_selection import train_test_split
from collections import Counter
from gensim.models import Word2Vec
import numpy as np
from sklearn import preprocessing
from sklearn.metrics import precision_score, accuracy_score,recall_score, f1_score,roc_auc_score, precision_recall_fscore_support, roc_curve, classification_report
train_data=pd.read_csv("train_set.csv",sep='\t')
test_data=pd.read_csv("test_a.csv",sep='\t')
x=train_data['text']
y=train_data['label']
y=y.values.reshape(y.shape[0],1)
One-Hot编码
#y=pd.get_dummies(y)
enc = preprocessing.OneHotEncoder(categories='auto')
enc.fit(y)
y=enc.transform(y).toarray()
enc.categories_
[array([ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13])]
分词
因为是匿名处理过的数据,所以这里的分词做的很简单,直接按空格进行拆分。
x=x.apply(lambda a:a.split())
训练word2vec词嵌入模型
w2v = Word2Vec(sentences=x,size=300,window=5,min_count=5,sample=1e-3,sg=1)
#window 句子中当前单词与预测词之间的最大距离。
#size 词向量的维数
#min_count 忽略总频率低于此的所有单词。
#sg 训练算法:1为skip-gram,否则为CBOW.
#hs 如果是1,则使用层次化的Softmax进行模型训练。如果为0或负数,则采用负采样.
#cbow_mean 如果为0,则使用上下文单词向量的和。如果是1,使用平均数,只有在使用CBOW时才适用。
#alpha 初始学习率。
#sample 配置高频词随机下采样的阈值,有效范围是(0, 1e-5)。
w2v.save("bag") #训练完成后保持模型到本地,一次训练多次使用;
# w2v = Word2Vec.load("bag") 第一次训练完成后,后续只需使用加载本地模型即可
def average(text,size=300):
if len(text) < 1:
return np.zeros(size)
a = [w2v.wv[w] if w in w2v.wv else np.zeros(size) for w in text]
length = len(a