python大数据之数据分割（含k折交叉验证）

在大数据问题中，我们常常需要对数据进行分割，得到X和y的数据，这里我们来详细讲解一下数据分割函数train_test_split，以及用k折交叉验证来分割数据。

分割训练集和测试集

from sklearn.model_selection import train_test_split

#train_size设置分割的比例，x_train为80%
train,test = train_test_split(x,  train_size=0.8)

#train_size设置分割的数量
train,test = train_test_split(x,  train_size=4)

• random_state：int or RandomState instance, default=None

这个参数表示随机状态，因为每次分割都是随机的。

from sklearn.model_selection import train_test_split

#random_state，随机分配
train,test = train_test_split(x,  train_size=0.8， random_state=0)

• shuffle: bool, default=True

是否重洗数据（洗牌），就是说在分割数据前，是否把数据打散重新排序这样子，看上面我们分割完的数据，都不是原始数据集的顺序，默认是要重洗的

from sklearn.model_selection import train_test_split

#random_state，随机分配
train,test = train_test_split(x,  train_size=0.8， shuffle=False)

需要说明的是shuffle=True的时候，random_state才起作用。

可以理解为random_state是一个控制怎么洗牌的参数。

分割训练数据和标签

from sklearn.model_selection import train_test_split

#数据和标签分割
y = data['label'];
x = data.drop(labels=['label'], axis=1, level=None)

#数据分割
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.33, random_state=0)

k折交叉验证分割方法

from sklearn.model_selection import KFold
import pandas as pd
import numpy as np

#数据分割
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2, random_state=0)

#转成numpy格式
x_train = np.array(x_train)
y_train = np.array(y_train)
#这里的k表示进行几折交叉验证
k = 2
kfolder = KFold(n_splits=k, shuffle=True,random_state=0)
kfold = kfolder.split(x_train, y_train)

for train_index, val_index in kfold:
    k_x_train = x_train[train_index]  #训练集
    k_y_train = y_train[train_index]  #测试集标签
    k_x_vali = x_train[val_index]    #验证集
    k_y_vali = y_train[val_index]    #验证集标签

数据分割之后，需要计算k折交叉验证的平均值。

总结

以上就是常见的数据分割的方法，

老规矩，有用二连，非常感谢！