数据竞赛——0

第一次 数据竞赛

这是我在学习完Python和机器学习的基本知识后的第一次实践，更是一次成长。

获取数据

在DataCastle中注册，并且报名“达观杯”文本智能处理挑战赛（已经结束，但是任然可以使用），下载比赛数据。

读取数据

数据分为两部分训练数据和测试数据都是CSV格式的，首先通过利用Excel打开数据来进行观察数据（数据较大，内存不够的话会打不开，而且卡死电脑），训练数据是进行脱敏的数据，数据不是干净的，在对数据进行后期处理前需要预处理。通过Python来读取比赛数据，此处用到pandas库中的csv格式读取函数read_csv。

数据分割

对读取进来的数据利用sklearn.model_selection中的train_test_split进行分割。train_test_split是交叉验证中常用的函数，详细教程可以参考官网train_test_split.

具体实现

import pandas as pd
from sklearn.model_selection import train_test_split

data = pd.read_csv('train_set.csv')

data_list = data.columns
data_list = data_list.drop('class')
data = data[data_list]
y_list = data['class']

X_train, X_test, Y_train, Y_test = train_test_split(data, y_list, test_size=0.3, random_state=2019)

参考文献
[1]: https://blog.csdn.net/mrxjh/article/details/78481578
[2]: https://blog.csdn.net/together_cz/article/details/80001715
[3]: https://www.cnblogs.com/unnameable/p/7366437.html