StratifiedKFold和KFold交叉验证数据集的联系和区别

为什么要进行交叉验证

1. 对已有数据进行模型训练时，模型的效果与参数的选取极大程度依赖于对训练集和测试集的划分
2. 无法充分利用已有的数据，不能充分挖掘数据的价值

通过进行交叉验证，能够提高模型的泛化能力，同时对数据进行多次使用能更好挖掘数据的价值

KFold

n_splits：将数据集进行 n 等分

shuffle：是否将数据进行洗牌

random_state：随机种子数，保证每次随机的结果都是一样的。一般设置为 0，方便后续调参优化模型。shuffle == True 的时候才有效

StratifiedKFold

参数设置和上面相同

分层 K 折交叉验证

联系和区别

StratifiedKFold 是对 KFold 的改进，StratfiedFold 考虑分类结果的因素，分出来的训练集和测试集里面结果的比例和原来的数据集里面结果的比例完全相同，以避免因类分布不均衡而使模型效果不佳。

import numpy as np
from sklearn.model_selection import KFold,StratifiedKFold

X=np.array([
    [1,2,3,4],
    [11,12,13,14],
    [21,22,23,24],
    [31,32,33,34],
    [41,42,43,44],
    [51,52,53,54],
    [61,62,63,64],
    [71,72,73,74]
])

y=np.array([1,1,0,0,1,1,0,0])

kfloder = KFold(n_splits=4,random_state=0,shuffle=False)
sfolder = StratifiedKFold(n_splits=4,random_state=0,shuffle=False)

for train, test in sfolder.split(X,y):
    print('Train: %s | test: %s' % (train, test))
    print(" ")

print('**************************')

for train, test in kfloder.split(X,y):
    print('Train: %s | test: %s' % (train, test))
    print(" ")        

y 值对应的索引值分别是

1： 0, 1, 4, 5

0： 2, 3, 6, 7

结果如下（输出的是索引值）

Train: [1 3 4 5 6 7] | test: [0 2]
 
Train: [0 2 4 5 6 7] | test: [1 3]
 
Train: [0 1 2 3 5 7] | test: [4 6]
 
Train: [0 1 2 3 4 6] | test: [5 7]
 
**************************
Train: [2 3 4 5 6 7] | test: [0 1]
 
Train: [0 1 4 5 6 7] | test: [2 3]
 
Train: [0 1 2 3 6 7] | test: [4 5]
 
Train: [0 1 2 3 4 5] | test: [6 7]

sfolder 分出来的训练集和测试集中，0 和 1 的比例都是 1:1，而 kfolder 中并没有这一特性。

参考链接

【机器学习】Cross-Validation（交叉验证）详解

KFold，StratifiedKFold k折交叉切分