前言
NLP之新闻文本分类挑战赛(赛题链接)。
其实上一篇赛题理解时已经做了数据读取和分析,因为一般在分析之后才对题目有初步理解。但为了流程完整性,还是做一篇独立的数据读取与分析,采用Pandas库实现。
数据读取
使用Pandas库完成数据读取操作:
#导入包
import pandas as pd
train_df = pd.read_csv('./data/训练集数据/train_set.csv',sep='\t',nrows=100)
这里使用到的read_csv由三部分构成:
1.读取文件路径;
2.分隔符sep,为每列分割的字符,本赛题存储的数据分隔符为\t;
3.读取行数nrows,由于数据集比较大,可以先设置为100预览。
读取完后可以浏览下数据:
#预览数据
train_df.head()
上图是读取好的数据,是表格形式。第一列(label)为新闻的类别,第二列(text)为新闻的字符。
数据分析
使用Pandas库分析赛题数据的分布规律。
1.数据整体情况:
train_df = pd.read_csv('./data/训练集数据/train_set.csv',sep='\t')
train_df.info()
train_df.describe()