“达观杯”文本智能处理挑战赛-任务一

一、“达观杯”文本智能处理挑战赛

1. 竞赛信息
2. 任务、数据说明与评分标准
   

二、读取并观察数据

1. 下载数据，读取数据，观察数据

直接读取数据用时较长，先使用narows参数读取前5000条数据观察数据

import pandas as pd
from sklearn.model_selection import train_test_split
import time
#直接读取数据用时较长
%%time 
df_train = pd.read_csv('train_set.csv') 

Wall time: 2.71 s

#使用narows参数读取前5000条数据观察数据
%%time
df_train = pd.read_csv('train_set.csv',nrows=5000)
df_train .head()

数据展示如下

文本分类类别：

df_train ['class'].unique()
a = list(df_train ['class'].unique())
print(sorted(a))
print(df_train .iloc[0,1])
print(df_train .iloc[0,2])

可以看出，article和word_seg属性为数字，每个数字表示一个字符或词，class属性表示类别，总共19类。

3. 训练集划分

X_train, X_vali, Y_train, Y_vali = train_test_split(df_train[['word_seg','article']], df_train[['class']], test_size=0.2, random_state=1)

划分后数据集概况

4. 对数据以及赛题的理解和发现

1.数据

通过对文章正文在“字”级别上的表示，即字符相隔正文(article)和在“词”级别上的表示，即词语相隔正文(word_seg)，预测文章类别，归类到class字段中。