Task1

1. 下载数据，读取数据，观察数据

2. 将训练集拆分为训练集和验证集。

要求：数据3-7分，随机种子2019

1. 分享自己对数据以及赛题的理解和发现 （建立模型通过长文本数据正文(article)，预测文本对应的类别(class) ）

 

回答：

1、

已经下载数据

2、

代码：

import os

os.chdir('D:\\竞赛\\task1\\new_data\\')

#建立模型通过长文本数据正文(article)，预测文本对应的类别(class)   

import pandas as pd

data=pd.read_csv('train_set.csv',nrows = 10000)

from sklearn.model_selection import train_test_split

X=data[['id', 'article', 'word_seg']]

y=data['class']

X_train, X_test, y_train, y_test = train_test_split(

    X, y, test_size=0.3, random_state=2019 )

 

 

3、建立模型通过长文本数据正文(article)，预测文本对应的类别(class)，从命题来看是要基于文本数据（article）来进行特征工程，可以基于核心关键词或者Word2vec来特征向量化，然后基于神经网络DNN实现分类。