java统计文本中英文单词个数split_零基础入门NLP - 新闻文本分类Task2(天池入门赛)...-CSDN博客

本文链接：https://blog.csdn.net/weixin_39667080/article/details/112444877

本章主要内容是主要是通过pandas模块来进行数据分析。（注：文章只是对天池入门赛课件的学习）

一、学习目标

1、学习使用pandas读取赛题规律

2、分布赛题数据的分布规律

二、数据读取

使用pandas直接读取数据，

import pandas as pd
# 读取数据
train_df = pd.read_csv('D:/py_project/天池/data/train_set.csv', sep='t')
train_df.head()

第一列为数据的label值，第二列为新闻的内容。

三、数据分析

3.1、目标

1）赛题数据中，新闻文本的长度是多少？

2）类别分布是什么样的？什么类别占比比较多

3）字符分布是什么样的？

3.2、句子长度分析

赛题数据中，每行句子的字符使用空格隔开，所以可以通过直接统计单词的个数来得到每个句子的长度。

train_df['text_len'] = train_df['text'].apply(lambda x: len(x.split(' ')))
print(train_df['text_len'].describe())

从图中的统计可以看出，20万条数据的平均长度为907字符，最长的句子为57921字符，最短的只有2字符，长度差别较大。

所以我们导入matplot库来看句子长度的分布，

import matplotlib.pyplot as plt
_ = plt.hist(train_df['text_len'], bins=200)
plt.xlabel('Text char count')
plt.title("Histogram of char count")

从分布图可以看出，句子长度主要分布在20000以下

3.3、类别分布统计

现在统计各类新闻的类别数量，首先做出类别分布图，

_ = plt.hist(train_df['text_len'], bins=200)
plt.xlabel('Text char count')
plt.title("Histogram of char count")

在数据集中标签的对应的关系如下：{'科技': 0, '股票': 1, '体育': 2, '娱乐': 3, '时政': 4, '社会': 5, '教育': 6, '财经': 7, '家居': 8, '游戏': 9, '房产': 10, '时尚': 11, '彩票': 12, '星座': 13}

从直方图看出，标签分布不均匀，科技类型新闻最多。

3.4、字符分布统计

我们可以通过collections库中的Counter函数来统计词频，

from collections import Counter
all_lines = ' '.join(list(train_df['text']))
word_count = Counter(all_lines.split(" "))
word_count = sorted(word_count.items(), key=lambda d:d[1], reverse=True)

print(len(word_count))
print(word_count[0])
print(word_count[-1])

从统计结果可以看出，总共有6869个字符，其中'3750'这个字符出现最多，有7482224次，而'3133'这个字符出现最少，只有1次。

下面代码统计了不同字符在句子中出现的次数，其中字符3750，字符900和字符648在20w新闻的覆盖率接近99%，很有可能是标点符号。

train_df['text_unique'] = train_df['text'].apply(lambda x: ' '.join(list(set(x.split(' ')))))
all_lines = ' '.join(list(train_df['text_unique']))
word_count = Counter(all_lines.split(" "))
word_count = sorted(word_count.items(), key=lambda d:int(d[1]), reverse = True)

print(word_count[0])
print(word_count[1])
print(word_count[2])