NLP-新闻采编数据读取与分析

利用pandas 进行csv文件数据读取和分析

数据读取和统计描述性分析

import matplotlib.pyplot as plt
import pandas as pd
from collections import Counter

train_df = pd.read_csv(r'A:\Python\Datawhale-NLP\data\train_set.csv',sep='\t',nrows=1000)
train_df.head()
print(train_df,type(train_df))

train_df['text_len'] = train_df['text'].apply(lambda x: len(x.split(' ')))
print(train_df['text_len'].describe())

数据分析结果：
从下面结果，可以看出，本数据文档共20w条，每个句子平均由907个字符构成，最短的句子长度为2，最长的句子长度为57921。