1、文本数据分析方法
- 常用的几种文本数据分析方法:
- 标签数量分布
- 句子长度分布
- 词频统计与关键词词云
2、标签数量分布
2.1 获取训练集和验证集的标签数量分布
# 导入工具包
import seaborn as sns
import pandas as pd
import matplotlib.pyplot as plt
import jieba
import jieba.posseg as pseg
from itertools import chain
from wordcloud import WordCloud
# 设置显示风格
plt.style.use('fivethirtyeight')
# 1、分别读取训练tsv和验证tsv
train_data = pd.read_csv("./cn_data/train.tsv", sep="\t")
valid_data = pd.read_csv("./cn_data/dev.tsv", sep="\t")
# 2、获得训练数据标签数量分布
sns.countplot("label", data=train_data)
plt.title("train_data")
plt.show()
# 3、获取验证数据标签数量分布
sns.countplot("label", data=valid_data)
plt.title("valid_data")
plt.show()
-
训练集标签数量分布:
-
验证集标签数量分布:
-
分析:
在深度学习模型评估中, 我们一般使用ACC作为评估指标, 若想将ACC的基线定义在50%左右, 则需要我们的正负样本比例维持在1:1左右, 否则就要进行必要的数据增强或数据删减. 上图中训练和验证集正负样本都稍有不均衡, 可以进行一些数据增强.
2.2 获取训练集和验证集的句子长度分布
# 1、在训练数据中添加新的句子长度列, 每个元素的值都是对应的句子列的长度
train_data["sentence_length"] = list(map(lambda x: len(x), train_data["sentence"]))
# 2、绘制句子长度列的数量分布图
sns.countplot("sentence_length", data=train_data)
# 主要关注count长度分布的纵坐标, 不需要绘制横坐标, 横坐标范围通过dist图进行查看
plt.xticks([])
plt.show()
# 3、绘制dist长度分布图
sns.distplot(train_data["sentence_length"])
# 主要关注dist长度分布横坐标, 不需要绘制纵坐标
plt.yticks([])
plt.show()
# 4、在验证数据中添加新的句子长度列, 每个元素的值都是对应的句子列的长度
valid_data["sentence_length"] = list(map(lambda x: len(x), valid_data["sentence"]))
# 5、绘制句子长度列的数量分布图
sns.countplot("sentence_length", data=valid_data)
# 主要关注count长度分布的纵坐标, 不需要绘制横坐标, 横坐标范围通过dist图进行查看
plt.xticks([])
plt.show()
# 6、绘制dist长度分布图
sns.distplot(valid_data["sentence_length"])
# 主要关注dist长度分布横坐标, 不需要绘制纵坐标
plt.yticks([])
plt.show()
- 训练集句子长度分布:
- 验证集句子长度分布:
- 分析:
通过绘制句子长度分布图, 可以得知我们的语料中大部分句子长度的分布范围, 因为模型的输入要求为固定尺寸的张量,合理的长度范围对之后进行句子截断补齐(规范长度)起到关键的指导作用. 上图中大部分句子长度的范围大致为20-250之间.
2.3 获取训练集和验证集的正负样本长度散点分布
# 1、绘制训练集长度分布的散点图
plt.figure(figsize=(20, 8), dpi=100)
sns.stripplot(y='sentence_length', x = 'label', data = train_data)
plt.show()
# 2、绘制测试集长度分股的散点图
plt.figure(figsize=(20, 8), dpi=100)
sns.stripplot(y='sentence_length', x = 'label', data = valid_data)
plt.show()
- 训练集上正负样本的长度散点分布:
- 验证集上正负样本的长度散点分布:
- 分析:
通过查看正负样本长度散点图, 可以有效定位异常点的出现位置, 帮助我们更准确进行人工语料审查. 上图中在训练集正样本中出现了异常点, 它的句子长度近3500左右, 需要我们人工审查.
2.4 获取训练集和验证集不同词汇总数统计
# 对训练集的句子进行分词,并统计出不同词汇的总数
train_vocab = set(chain(*map(lambda x: jieba.lcut(x), train_data['sentence'])))
print("训练集词汇总数:", len(train_vocab))
valid_vocab = set(chain(*map(lambda x: jieba.lcut(x), valid_data['sentence'])))
print("验证集词汇总数:", len(valid_vocab))
输出结果:
训练集词汇总数: 12162
验证集词汇总数: 6857
2.5 获得训练集上正负的样本的高频形容词词云
# 1、获取形容词列表
def get_a_list(text):
# 使用jieba的词性标注方法切分文本,获得具有词性属性的flag词汇属性word的对象
# 判断flag是否是形容词,返回对应的词汇
r = []
for g in pseg.lcut(text):
if g.flag == 'a':
r.append(g.word)
return r
# 2、创建词云函数
def get_word_cloud(keywords_list):
"""
实例化绘制词云的类,其中参数font_path是字体路径,显示中文
max_words指词云图像最多显示多少个词,background_color为背景颜色
"""
wordcloud = WordCloud(font_path='./SimHei.ttf', max_words=100, background_color='white')
# 将传入的列表转化成词云生成器需要的字符串形式
keywords_string = ''.join(keywords_list)
# 生成词云
wordcloud.generate(keywords_string)
# 绘制图像
plt.figure()
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis('off')
plt.show()
# 3、获得训练集上正样本
p_train_data = train_data[train_data['label'] == 1]['sentence']
# 3.1 提取正样本中每个句子的形容词
p_a_train_vocab = chain(*map(lambda x: get_a_list(x), p_train_data))
# 4、获取训练集上负样本
n_train_data = train_data[train_data['label'] == 0]['sentence']
# 4.1 提取负样本中每个句子的形容词
n_a_train_vocab = chain(*map(lambda x: get_a_list(x), n_train_data))
# 5、调用get_word_cloud函数
get_word_cloud(p_a_train_vocab)
get_word_cloud(n_a_train_vocab)
- 训练集正样本形容词词云:
- 训练集负样本形容词词云:
2.6 获得验证集上正负的样本的形容词词云
# 1、获取验证集上的正样本
p_valid_data = valid_data[valid_data['label' == 1]]['sentence']
# 提取张样本中每个句子的形容词
p_a_valid_vocab = chain(*map(lambda x: get_a_list(x), p_valid_data))
# 2、获取验证集上的负样本
n_valid_data = valid_data[valid_data['label' == 0]]['sentence']
# 提取负样本中每个句子的形容词
n_a_valid_vocab = chain(*map(lambda x: get_a_list(x), n_valid_data))
# 3、调用get_word_cloud函数
get_word_cloud(p_a_valid_vocab)
get_word_cloud(n_a_valid_vocab)
- 验证集正样本形容词词云:
- 验证集负样本形容词词云:
- 分析:
根据高频形容词词云显示, 我们可以对当前语料质量进行简单评估, 同时对违反语料标签含义的词汇进行人工审查和修正, 来保证绝大多数语料符合训练标准。上图中的正样本大多数是褒义词, 而负样本大多数是贬义词, 基本符合要求, 但是负样本词云中也存在"便利"这样的褒义词, 因此可以人工进行审查。