Datawhale零基础入门NLP赛事 - Task2 数据读取与数据分析

句子长度分析

统计单词个数得到每个句子的长度

%pylab inline
train_df['len']=train_df['text'].apply(lambda x:len(x.split(' ')))
print(train_df['len'].describe())

将句子长度绘制成直方图，可见大部分句子长度集中在2000以内

#直方图可以描绘数据分布的大概情况。多个区间，统计区间类样本数量。
import matplotlib.pyplot as plt
plt.hist(train_df['len'],bins=20)
plt.title('len of news')

新闻类别分布

统计每类新闻的样本个数

train_df['label'].value_counts().plot(kind='bar')
plt.title('News class count')
plt.xlabel("category")

从统计结果可以看出，赛题的数据集类别分布存在较为不均匀的情况。在训练集中科技类新闻最多，其次是股票类新闻，最少的新闻是星座新闻。

字符分布统计

首先可以将训练集中所有的句子进行拼接进而划分为字符，并统计每个字符的个数。从统计结果中可以看出，在训练集中总共包括6869个字，其中编号3750的字出现的次数最多，编号3133的字出现的次数最少。

#字符统计并排序
from collections import Counter
#首先将所有句子拼接，再统计字符数量
all_lines = ' '.join(list(train_df['text']))
word_count = Counter(all_lines.split(" "))
#对字典排序需要将字典的键值对取出后，使用匿名函数进行排序
word_count = sorted(word_count.items(), key=lambda d:d[1], reverse = True)  #items()将字典中的键值对以元组的形式存储，并将元组存储在列表中。labmda d:d[1]对字典的值进行排序
print(len(word_count))
print(word_count[0])
print(word_count[-1])

这里还可以根据字在每个句子的出现情况，反推出标点符号。下面代码统计了不同字符在句子中出现的次数，其中字符3750，字符900和字符648在20w新闻的覆盖率接近99%，很有可能是标点符号。

#找出标点符号的字符。提示：标点符号是每一句话都有的字符。
from collections import Counter
train_df['text_unique'] = train_df['text'].apply(lambda x:" ".join(list(set(x.split(' ')))))
all_lines = " ".join(list(train_df['text_unique']))
word_count = Counter(all_lines.split(' '))
word_count = sorted(word_count.items(),key=lambda x:x[1],reverse=True)
print(word_count[0])
print(word_count[1])
print(word_count[2])

数据分析的结论¶

通过上述分析我们可以得出以下结论：

1. 赛题中每个新闻包含的字符个数平均为1000个，还有一些新闻字符较长；

2. 赛题中新闻类别分布不均匀，科技类新闻样本量接近4w，星座类新闻样本量不到1k；

3. 赛题总共包括7000-8000个字符；

通过数据分析，我们还可以得出以下结论：

1. 每个新闻平均字符个数较多，可能需要截断；

2. 由于类别不均衡，会严重影响模型的精度；

本章作业

1. 假设字符3750，字符900和字符648是句子的标点符号，请分析赛题每篇新闻平均由多少个句子构成？

import re
train_df['sentence'] = train_df['text'].apply(lambda x: len(re.split('3750|900|648', x)))    #多个分隔符用|隔开                  
train_df['sentence'].mean()

2. 统计每类新闻中出现次数最多的字符

from collections import Counter
train_df['word']=train_df['text'].apply(lambda x:x.replace(' 900','').replace(' 3750','').replace(' 648',''))
# 注意不是x.replace('900','').replace('3750','').replace('648',''))，需要在前方加上空格
for i in range(14):
    label_term = train_df[train_df['label']==i]['word']
    all_lines = ' '.join(list(label_term))
    word_count = Counter(all_lines.split(' '))
    word_count = sorted(word_count.items(),key=lambda x:x[1],reverse=True)
    print(i,word_count[0])