达观杯比赛

【任务1 - 数据初识】时长：1天
下载数据，读取数据，观察数据
将训练集拆分为训练集和验证集
数据包含两个csv，训练集和测试集，依次下载即可，第一列是文章的索引(id)
第二列是文章正文在“字”级别上的表示，即字符相隔正文(article)
第三列是在“词”级别上的表示, 即词语相隔正文(word_seg)
第四列是这篇文章的标注(class)。
test_set.csv:此数据用于测试。数据格式同train_set.csv，但不包含class。
分享自己对数据以及赛题的理解和发现
数据读取

import pandas as pd
from sklearn.model_selection import train_test_split
train_data=pd.read_csv("train_set.csv"，)
test_data=pd.read_csv("test_set.csv")
train_data.head()
数据拆分
可以看到其实数据集中的字和词都是脱敏后的,不需要分词,直接对训练集切分

columns=['article','word_seg']
X_train,X_test,y_train,y_test=train_test_split(train_data[columns],train_data['class'],test_size=0.3, random_state=2019)
print(X_train.shape,X_test.shap
达观杯比赛链接：https://m.dcjingsai.com/competition-message?name=“达观杯”文本智能处理挑战赛&cmptId=229