基于Keras搭建LSTM网络实现文本情感分类
版本
在jupyter notbook中执行
import keras as ks
import tensorflow as tf
print(ks.__version__)
print(tf.__version__)
2.3.1
2.0.0
一、语料概况
本次项目主要以电商网站下的用户评论数据作为实验数据集,数据集已经做好了标注。其中该数据集一共有4310条评论数据,文本的情感分为两类:“正面”和“反面”
其中evaluation为评论内容,label为情感倾向。
1.1 数据统计
先整体查看不同类别下的样本均衡情况,样本的不均衡会影响模型的分类效果
导入相应的库
import pandas as pd
import matplotlib.pyplot as plt
from matplotlib import font_manager
from itertools import accumulate
plt.rcParams['font.sans-serif']=['SimHei'] #图中文字体设置为黑体
1.1.1 查看样本均衡情况,对label进行统计
df = pd.read_csv('./data_single.csv')
print(df.groupby('label')['label'].count())
label
正面 1908
负面 2375
Name: label, dtype: int64
整体来看样本还算均衡,正面1908条,负面2375条。可以达到需求了
深度学习中需要定义文本的最长长度,大于该长度就需要将文本切割,不够就填充0处理,所以还是需要整体统计出样本大致的文本长度分布。、
1.1.2 计句子长度及长度出现的频数
先计算句子的长度,在对句子的长度进行分组统计分析,看下不同长度下一共有几个样本
df[:30]
df[:30].groupby('length').count()
可以看出长度15的有两个,length是句子长度,evaluation代表该长度下有几个样本,根据这两个值就可以画图了
df['length'] = df['evaluation'].apply(lambda x: len(x))
len_df = df.groupby('length').count()
sent_length = len_df.index.tolist()
sent_freq = len_df['evaluation'].tolist()
获取数据中样本的所有长度sent_length,和该长度下sent_freq的样本数量绘图
# 绘制句子长度及出现频数统计图
plt.figure(figsize=(10,12))
plt.bar(sent_length, sent_freq,2)
plt.title("句子长度及出现频数统计图", )
plt.xlabel("句子长度")
plt.ylabel("句子长度出现的频数")
plt.savefig("./句子长度及出现频数统计图.png")
plt.show
大部分长度在20左右。
1.1.3 绘制句子长度累积分布函数(CDF)
到句子累加到90%的时候,返回其对应长度值
### 绘制句子长度累积分布函数(CDF)
sent_pentage_list = [(count/sum(sent_freq)) for count in accumulate(sent_freq)]
plt.figure(figsize=(10,12))
# 绘制CDF
plt.plot(sent_length, sent_pentage_list)
# 寻找分位点为quantile的句子长度
quantile = 0.90
for length, per in zip(sent_length, sent_pentage_list):
if round(per, 2) == quantile:
index = length
break
print("\n分位点为%s的句子长度:%d." % (quantile, index))
# 绘制句子长度累积分布函数图
plt.plot(sent_length, sent_pentage_list,linewidth=4)
plt.hlines(quantile, 0, index, colors="c", linestyles="dashed",linewidth=4)
plt.vlines(index, 0, quantile, colors="c", linestyles="dashed",linewidth=4)
plt.text(0, quantile, str(quantile),fontsize=10)
plt.text(index, 0, str(index))
plt.title("句子长度累积分布函数图",fontsize=20)
plt.xlabel("句子长度",fontsize=15)
plt.ylabel("句子长度累积频率",fontsize=15)
plt.savefig("./句子长度累积分布函数图.png")
plt.show
分位点为0.9的句子长度:172.
大多数样本的句子长度集中在1-200之间,句子长度累计频率取0.90分位点,则长度为172左右。
二、LSTM模型构建与评估
LSTM模型架构
导库
import pickle
import numpy as np
import pandas as pd
from keras.utils import np_utils, plot_model
from keras.models import Sequential
from keras.preprocessing.sequence import pad_sequences
from keras.layers import LSTM, Dense, Embedding, Dropout
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
2.1 数据导入预处理
filepath = 'data_single.csv' #数据
input_shape = 180 #设置长度
model_save_path = 'corpus_model.h5' #模型保存位置
df = pd.read_csv(filepath)
df.head()
2.1.1 获取标签和字符字典列表
取出标签,和数据;再去重。
# 标签及词汇表
labels, vocabulary = list(df['label'].unique()), list(df['evaluation'].unique())
labels
[‘正面’, ‘负面’]
vocabulary
[‘用了一段时间,感觉还不错,可以’,
‘电视非常好,已经是家里的第二台了。第一天下单,第二天就到本地了,可是物流的人说车坏了,一直催,客服也帮着催,到第三天下午5点才送过来。父母年纪大了,买个大电视画面清晰,趁着耳朵还好使,享受几年。’,
‘电视比想象中的大好多,画面也很清晰,系统很智能,更多功能还在摸索中’,
‘不错’,
‘用了这么多天了,感觉还不错。夏普的牌子还是比较可靠。希望以后比较耐用,现在是考量质量的时候。’,
‘物流速度很快,非常棒,今天就看了电视,非常清晰,非常流畅,一次非常完美的购物体验’,
‘非常好,客服还特意打电话做回访’,
‘物流小哥不错,辛苦了,东西还没用’,
‘送货速度快,质量有保障,活动价格挺好的。希望用的久,不出问题。’,
‘非常漂亮,也非常清晰,反应速度也快。’,
‘很不错家里都喜欢。。。一次买了三台’,
‘送货非常快!质量非常好,这次购物非常愉快!!’,
‘58好大……都不错。看质量咯’,
‘物流很快,物有所值,值得信赖。依旧会关顾!谢谢商家!’,
‘这价钱超值,收到货马上装上看了一下。很清晰式样也蛮好!赞赞……’,
构建每个字符,去重后的集合。
# 构造字符级别的特征
string = ''
for word in vocabulary:
# print(word)
string += word
vocabulary = set(string)
print(vocabulary)
print(len(vocabulary))
2154
一共有2154个词,2个类别
对每个字符都进行编码
word_dictionary = {
word: i+1 for i, word in enumerate(vocabulary)}
word_dictionary
获取反转的字符编码
inverse_word_dictionary = {
i+1: word for i, word in enumerate(vocabulary)}
inverse_word_dictionary
设置词汇表大小,标签类别数量
vocab_size = len(word_dictionary.keys()) # 词汇表大小
label_size = len(label_dictionary.keys()) # 标签类别数量
2.1.2 将文本和类别编码
将文本按照字典进行编码
x = [[word_dictionary[word] for word in sent] for sent in df['evaluation']]
x
编码后,还需要切割填充,网络对于每一个样本数据的特征长度要求都是一致的
x = pad_sequences(maxlen=input_shape, sequences=x, padding='post', value=0)
x
array([[1460, 325, 641, …, 0, 0, 0],
[1902, 2024, 905, …, 0, 0, 0],
[1902, 2024, 2023, …, 0, 0, 0],
…,
[ 641, 703, 868, …, 0, 0, 0],
[ 633, 1902, 2024, …, 0, 0, 0],
[ 641, 1233, 1233, …, 0, 0, 0]])
类别需要编码成0,1的one_hot编码
y = [[label_dictionary[sent]] for sent in df['label']]
y
<