python训练集_Python 训练集、测试集以及验证集sklearn及手动切分

需求目的：针对模型训练输入，按照6:2:2的比例进行训练集、测试集和验证集的划分。当前数据量约10万条。如果针对的是记录条数达上百万的数据集，可按照98:1:1的比例进行切分。

方法一：切分训练集和测试集，采用机器学习包sklearn中的train_test_split()函数

方法二：切分训练集、测试集以及验证集，针对dataframe手动切分

方法一

采用Sklearn包中的sklearn.model_selection.train_test_split()函数，该函数功能是将原始数据按照比例切分为训练集和测试集。

函数形式：

sklearn.model_selection.train_test_split(*arrays, test_size=None,

train_size=None, random_state=None, shuffle=True, stratify=None)

参数解读：

*arrays：等长的列表、数组或者dataframe等

test_size: 0和1之间，默认0.25

train_size: 0和1之间，默认1

random_state: 传递一个int值，以便在多个函数调用之间产生可复制的输出

shuffle: 拆分前是否进行洗牌

strafity: 是否对数据进行分层

返回结果：

输入序列的train test分割序列

代码示例：

>>> import numpy as np

>>> from sklearn.model_sel