scikit learn Splitter Classes：KFold、GroupFold、StratifiedKFold及变体

最新推荐文章于 2024-01-03 23:11:31 发布
最新推荐文章于 2024-01-03 23:11:31 发布
阅读量1k 收藏 4
点赞数
分类专栏： 机器学习 文章标签： sklearn 机器学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenhepg/article/details/122325946
版权

@创建于：20220105
@修改于：20220106

文章目录

1、Splitter Classes概述

Splitter Classes是scikit-learn 1.0.2中model_selection模块的一个对数据进行切分类的集合，包含的切分方式如下图所示。model_selection模块还包括Splitter Functions（数据切分方法）。
在这里插入图片描述
本博客，基于scikit-learn 1.0.2介绍其中的几种切分类。

2、KFold

2.1 方法介绍

KFold官网链接。

 class sklearn.model_selection.KFold(n_splits=5, *, shuffle=False, random_state=None)
  • （1）输出划分后的训练集、测试集的索引，将数据集拆分为 k 个连续的折叠（默认情况下不进行随机划分，即进行顺序划分，shuffle=True时，进行伪随机划分）。
  • （2）将每折叠用作一次验证，而剩余的 k - 1 个折形成训练集。
  • （3）每一折的数据是相互独立的，没有重复，合并在一起组成完整的数据集。

2.2 参数介绍

n_splits：int, default=5
表示，要分割为多少个K子集

shuffle：bool, default=False
是否要洗牌（打乱数据）

random_state：int or RandomState instance, default=None
随机状态，需要配合shuffle参数使用，建议设定为特定值，便于复现。

2.3 图形化解说

下图是可视化的交叉验证行为，可以看出，KFold 不受类别或组的影响。具体请点击此链接。
在这里插入图片描述

2.4 代码样例

import numpy as np
from sklearn.model_selection import KFold

X = ["a", "b", "c", "d"]
kf = KFold(n_splits=2)
for train, test in kf.split(X):
    print("%s %s" % (train, test))

[2 3] [0 1]
[0 1] [2 3]

参考博客：
sklearn函数：KFold（分割训练集和测试集）
sklearn.KFold用法示例
sklearn的KFold，GroupKFold，StratifiedKFold区分

3、GroupKFold

3.1 方法介绍

GroupKFold官网链接。

 class sklearn.model_selection.GroupKFold(n_splits=5)
  • （1）非重叠的 K 折迭代器变体，按照组的指定进行划分。
  • （2）同一组不会出现在两个不同折数据中（不同组的数量必须至少等于折数）。
  • （3）每一折数据之间应近似平衡，即：不同组的数量大致相同。

3.2 参数介绍

n_splits int, default=5
折数默认值为5，最小值为2。

3.3 图形化解说

Each subject is in a different testing fold, and the same subject is never in both testing and training. Notice that the folds do not have exactly the same size due to the imbalance in the data.

每组数据在不同的数据折中，同一组数据不可能同时出现在测试集和验证集中。注意，由于数据不均衡，每一折数据的样本量不一样。

下图有10个group，但是被分到不同的4折中。有的折数量多，有的则少，体现了不均衡。
在这里插入图片描述

3.4 代码样例

from sklearn.model_selection import GroupKFold

X = [0.1, 0.2, 2.2, 2.4, 2.3, 4.55, 5.8, 8.8, 9, 10]
y = ["a", "b", "b", "b", "c", "c", "c", "d", "d", "d"]
groups = [1, 1, 1, 2, 2, 2, 3, 3, 3, 3]

gkf = GroupKFold(n_splits=3)
for train, test in gkf.split(X, y, groups=groups):
    print("%s %s" % (train, test))

[0 1 2 3 4 5] [6 7 8 9]
[0 1 2 6 7 8 9] [3 4 5]
[3 4 5 6 7 8 9] [0 1 2]

参考博客：
sklearn中的数据集的划分
sklearn的KFold，GroupKFold，StratifiedKFold区分
【模型评估_方法_交叉验证法】

4、StratifiedKFold

4.1 方法介绍

StratifiedKFold官网链接。

 class sklearn.model_selection.StratifiedKFold(n_splits=5, *, shuffle=False, random_state=None)
  • （1）分层 K 折交叉验证器。
  • （2）拆分训练/测试集中的数据，输出对应的索引。
  • （3）这个交叉验证对象是 KFold 的变体，它返回分层的每折数据。 每折数据中，每个类别的样本百分比相等。适用于类别不均衡的情况。

4.2 参数介绍

n_splits int, default=5
折数，默认值为5，最小值是2。

shuffle bool, default=False
是否在分批之前打乱每个类的样本。 请注意，每折数据的顺序不会被打乱。

random_state int, RandomState instance or None, default=None
随机种子，当 shuffle 为 True 时，random_state 影响索引的排序，它控制每个类的每个折叠的随机性。 否则，将 random_state 保留为 None。

4.3 图形化解说

在这里插入图片描述

4.4 代码样例

from sklearn.model_selection import StratifiedKFold, KFold
import numpy as np
X, y = np.ones((50, 1)), np.hstack(([0] * 45, [1] * 5))
skf = StratifiedKFold(n_splits=3)
for train, test in skf.split(X, y):
    print('train -  {}   |   test -  {}'.format(np.bincount(y[train]), np.bincount(y[test])))

# train -  [30  3]   |   test -  [15  2]
# train -  [30  3]   |   test -  [15  2]
#train -  [30  4]   |   test -  [15  1]


kf = KFold(n_splits=3)
for train, test in kf.split(X, y):
    print('train -  {}   |   test -  {}'.format(np.bincount(y[train]), np.bincount(y[test])))

# train -  [28  5]   |   test -  [17]
# train -  [28  5]   |   test -  [17]
# train -  [34]   |   test -  [11  5]

上面的列子，可以看到 StratifiedKFold 保留了训练和测试数据集中的类比（大约 1 / 10）。

5、ShuffleSplit

5.1 方法介绍

ShuffleSplitd官网链接。

 class sklearn.model_selection.ShuffleSplit(n_splits=10, *, test_size=None, train_size=None, random_state=None)

（1）随机排列交叉验证器。
（2）返回拆分后的 训练集和测试集 的索引。
（3）注意：与其他交叉验证策略相反，随机拆分并不能保证所有折叠都会不同，对于大型数据集来说，仍有数据重叠的可能性。

5.2 参数介绍

n_splits int, default=10
重新洗牌和拆分迭代的次数。

test_size float or int, default=None
如果为浮点型，则值应介于 0.0 和 1.0 之间，表示拆分中测试数据集的比例。
如果是 整型，则表示测试样本的绝对数量。
如果为 None，则该值设置为测试集的补集。
如果 train_size 也是 None，则将设置为 0.1。

train_size float or int, default=None
如果是浮点型，则应介于 0.0 和 1.0 之间，表示拆分中训练数据集的比例。
如果是 int，则表示训练样本的绝对数量。
如果为 None，则该值设置为训练集的补集。

random_state int, RandomState instance or None, default=None
控制生成的训练和测试指标的随机性。

5.3 图形化解说

请注意，ShuffleSplit 不受类或组的影响。
在这里插入图片描述

5.4 代码样例

from sklearn.model_selection import ShuffleSplit
X = np.arange(10)
ss = ShuffleSplit(n_splits=5, test_size=0.25, random_state=0)
for train_index, test_index in ss.split(X):
    print("%s %s" % (train_index, test_index))

[9 1 6 7 3 0 5] [2 8 4]
[2 9 8 0 6 7 4] [3 5 1]
[4 5 1 0 6 9 7] [2 3 8]
[2 7 5 8 0 3 4] [6 1 9]
[4 1 0 6 8 9 3] [5 2 7]

6、StratifiedShuffleSplit

6.1 方法介绍

StratifiedShuffleSplit官网链接。

sklearn.model_selection.StratifiedShuffleSplit(n_splits=10, *, test_size=None, train_size=None, random_state=None)
  • （1）分层 随机切分 交叉验证器。
  • （2）返回拆分后的 训练集和测试集 的索引。
  • （3）这个交叉验证对象是 StratifiedKFold 和 ShuffleSplit 的合并，它返回分层的随机切分。 但是确保了每一折数据中，每个类别的样本百分比几乎相同。
  • （4）注意：与 ShuffleSplit 策略一样，与其他交叉验证策略相反，分层随机切分并不能保证所有折数据都会不同，对于大型数据集来说，仍有数据重叠的可能性。

6.2 参数介绍

n_splits int, default=10
重新洗牌和拆分迭代的次数。

test_size float or int, default=None
如果为浮点型，则值应介于 0.0 和 1.0 之间，表示拆分中测试数据集的比例。
如果是 整型，则表示测试样本的绝对数量。
如果为 None，则该值设置为测试集的补集。
如果 train_size 也是 None，则将设置为 0.1。

train_size float or int, default=None
如果是浮点型，则应介于 0.0 和 1.0 之间，表示拆分中训练数据集的比例。
如果是 int，则表示训练样本的绝对数量。
如果为 None，则该值设置为训练集的补集。

random_state int, RandomState instance or None, default=None
控制生成的训练和测试指标的随机性。

6.3 图形化解说

StratifiedShuffleSplit 是 ShuffleSplit 的变体，它返回分层的随机拆分，即通过为每个目标类保留与完整集中相同的百分比来创建拆分。

这是交叉验证行为的可视化。
在这里插入图片描述

6.4 代码样例

无代码

7、StratifiedGroupKFold

7.1 方法介绍

StratifiedGroupKFold官网链接。

sklearn.model_selection.StratifiedGroupKFold(n_splits=5, shuffle=False, random_state=None)

（1）StratifiedGroupKFold是分层抽样结合非重叠分组的变体。
（2）该交叉验证返回对象是 StratifiedKFold尽可能返回非重叠分组后的结果，同时确保每个类别的样本比例在每一折数据中相同。也就是同时受到类别和分组的影响。
（3）同一组不会出现在两个不同的折叠中（组的数量必须至少等于折叠的数量）。
（4）GroupKFold 和 StratifiedGroupKFold 之间的区别在于：GroupKFold试图创建平衡折叠，使得每个折叠中不同组的数量大致相同，而 StratifiedGroupKFold 则尽可能地保障每个类别在不通折数据集和总体样本的比例一致，还要保障非重复的分配组到每一折数据中。

7.2 参数介绍

n_splitsint, default=5
折数，最少为2.

shuffle bool, default=False
是否在分批之前打乱每个类的样本。 请注意，每拆数据的样本不会被打乱。
该方法只会对于类别分布相似的组间进行乱序，但不会只想全局乱序。

random_state int or RandomState instance, default=None
当 shuffle 为 True 时，random_state 影响索引的排序，它控制每个类的每个折叠的随机性。 否则，将 random_state 保留为 None。 为跨多个函数调用的可重现输出传递 int。

7.3 图形化解说

在这里插入图片描述

7.4 代码样例

from sklearn.model_selection import StratifiedGroupKFold
X = list(range(18))
y = [1] * 6 + [0] * 12
groups = [1, 2, 3, 3, 4, 4, 1, 1, 2, 2, 3, 4, 5, 5, 5, 6, 6, 6]
sgkf = StratifiedGroupKFold(n_splits=3)
for train, test in sgkf.split(X, y, groups=groups):
    print("%s %s" % (train, test))

[ 0  2  3  4  5  6  7 10 11 15 16 17] [ 1  8  9 12 13 14]
[ 0  1  4  5  6  7  8  9 11 12 13 14] [ 2  3 10 15 16 17]
[ 1  2  3  8  9 10 12 13 14 15 16 17] [ 0  4  5  6  7 11]

8、总结

上面主要介绍了KFold、GroupFold、StratifiedKFold及它们的变体。除此之外还有其他切分方法。

详细内容请参见官网：Splitter Classes。

条件漫步
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Python机器学习】零基础掌握StratifiedGroupKFold交叉验证
Mr数据杨
11-03 105
在本次文章中深入探讨了，这是一种在数据分层分组时进行交叉验证的高效工具。通过一个具体的例子展示了如何使用这种方法确保训练集和测试集中不同组别和标签的比例保持一致，从而提高模型评估的准确性和公正性。优点总结，在处理需要分层抽样的数据集时表现优异，它能够确保数据的代表性，从而提高模型评估的准确性。优点名称描述说明保持标签比例在每个分割中保持原始数据中不同标签的比例，确保结果的代表性。适用于不均衡数据特别适用于标签分布不均衡的数据集。强化组别独立性。
Scikit-learn的K-fold交叉验证类ShuffleSplit、GroupShuffleSplit用法介绍
热门推荐
YQ的博客
06-26 2万+
当样本数据量比较小时，K-fold交叉验证是训练、评价模型时的常用方法，本文介绍Scikit-learn的可用于K-fold交叉验证的集合划分类ShuffleSplit、GroupShuffleSplit的用法。
python kfold交叉验证_Scikit Learn-使用KFold交叉验证的决策树
weixin_34553415的博客
02-09 1276
我对scikit学习/机器学习比较陌生 . 我必须使用Titanic数据集创建决策树，并且需要使用5倍的KFold交叉验证 . 这是我到目前为止所拥有的：cv = KFold(n_splits=5)tree_model = tree.DecisionTreeClassifier(max_depth=3)print(titanic_train.describe())fold_accuracy = [...
K折交叉验证大集合（KFold 、Stratified k-fold、Group k-fold、StratifiedGroupKFold）
向上生长的程序媛的博客
11-01 1662
交叉验证是区分训练集合验证集的一种方法，不同的交叉验证方法就是根据不同的规则来指定训练集合验证集，今天就来深扒一下每个多折交叉验证方法（KFold 、Stratified k-fold、Group k-fold、StratifiedGroupKFold）的详细内容和他们之间的区别吧！
【sklearn】KFold、StratifiedKFold、GroupKFold的区别
qq_16761099的博客
05-13 5197
文章目录1、KFold2、StratifiedKFold3、GroupKFold参考文献 平时使用或者数据竞赛中经常出现这几种交叉验证方式，那么他们的区别呢？ [1]中给出了很多不同交叉验证的区别，本文就主要讲KFold、StratifiedKFold、GroupKFold的区别 1、KFold >>> import numpy as np >>> from sklearn.model_selection import KFold >>> X = ["
scikit-learn：scikit-learn：Python中的机器学习
02-06
scikit-learn：scikit-learn：Python中的机器学习
Python机器学习(scikit-learn)：scikit-learn 简介-谢TS的博客.pdf
07-19
scikit-learn 是基于 Python 语言的用于预测数据分析的简单高效机器学习库。它提供了用于机器学习的算法，包括 分类、回归、降维 和 聚类。它也提供了用于数据预处理、提取特征、优化超参数和评估模型的模块。scikit...
Scikit Learn 官方文档：示例
01-31
Scikit Learn 官方文档：示例
pipeline-gridsearch-scikitlearn-tutorial:scikit-learn中的管道和Gridsearch教程
05-18
使用scikit-learn的动手管道和Gridsearch 使用scikit-learn讨论管道和Gridsearch的材料（jupyter笔记本）。 该演讲于2018年5月16日在Jetbrains Event Space举办的。 作者：弗洛伦·马丁（Florent Martin）和科恩·范...
Python机器学习(scikit-learn)：监督学习 - 支持向量机-谢TS的博客.pdf
07-19
支持向量机(SVM) 是一组用于分类、 回归和异常值检测的监督学习方法。支持向量机的优点是：在高维空间中有效。在维度数大于样本数的情况下仍然有效。在决策函数中使用训练点的子集（称为支持向量），因此它也具有...
GroupKFold-小记
weixiao2015的博客
05-31 4319
GroupKFold是KFold一个变体，目的在于将groups严格分开，以减少过拟合现象。 它如何work的呢？ 看下图，group参数是通过不同的group标识符(用颜色来区分)，使得训练集和测试集在划分时不会跨group的范围。不会overlap。 比如以下代码。表明有三个组，即三个不同颜色划分。 >>> groups = [1, 1, 1, 2, 2, 2, 3, 3, 3, 3] ...
StratifiedGroupKFold解释和代码实现
最新发布
xiaiming0的博客
01-03 1098
StratifiedGroupKFold解释和代码实现。
sklearn的KFold，GroupKFold，StratifiedKFold区分
Briwisdom的博客
05-16 2772
机器学习模型训练中对数据进行K折交叉训练是一个常见的策略，其中sklean库中的KFold，GroupKFold，StratifiedKFold就是实现对数据集K折划分的方法，这三个方法的区别总结如下。 KFold：是对数据集顺序按顺序K折划分； GroupKFold：是按训练者自己的需求进行的自定义划分，比如定义需要某些类别在训练集上多点数据； StratifiedKFold：则是分层采样，确保训练集，验证集中各类别样本的比例与原始数据集中相同； 这三种方法简单的代码示例： import nu
Xcode中的Group和fold的区别
renjie_Yan的博客
03-02 567
对于一些刚刚使用Xcode不久的新手来说，新建文件夹的时候，经常的操作就只直接在项目工程的文件夹下直接使用右键然后New Group一下，这样新建的文件夹在Xcode里面查看的时候，貌似没有什么问题，当我们把我们的一对的文件直接创建在里面的时候，看着确实是我们建的文件夹的效果，但是当我们在工程根目录下使用右键show in finder进行查看的时候，我们会发现其实我们建立的文件是乱七八糟的，不利于
5. KFold, StratifiedKFold,StratifiedShuffleSplit, GroupKFold区别以及Stratified Group KFold
aigonna
09-11 2784
5. KFold, StratifiedKFold,StratifiedShuffleSplit, GroupKFold区别以及Stratified Group KFold
scikit中StratifiedKFold和KFold区别，以及split方法
nio1396的博客
12-14 3711
scikit中StratifiedKFold和KFold区别，以及split方法 测试代码： # -*- coding: utf-8 -*- import numpy as np from sklearn.model_selection import StratifiedKFold, KFold test_array = np.zeros((8, 5)) for idx in range(test_array.shape[0]): test_array[idx] = np.arange((idx
KFold、StratifiedKFold、GroupKFold的区别
ningyanggege的博客
02-13 1475
GroupKFold，KFold，StratifiedKFold
sklearn kfold_sklearn交叉验证(KFold)的几个变种
weixin_39751871的博客
11-24 724
本文为大家详细分析机器学习比赛里交叉验证的几个高阶用法，如果能熟练使用kfold的几个变种用来切分训练集和测试集，在很多比赛中会有惊人的上分效果。基于kfold主要有三个交叉验证的方法：1. KFold 2. StratifiedKFold 3. GroupKFold 下面我们用实际的例子和代码来详细解释每个方法的具体用法，并最后提炼出三个方法之间的本质区别和联系:首先是从sklearn把三种方法...
sklearn--数据集的划分，超参数优化，模型验证
weixin_43711399的博客
04-26 586
数据集的划分 1.交叉验证 kFold，GroupFold，StratifiedFold 划分的策略如下 1.将数据集S划分成K个不相交的子集 2.从K个里面选一个作为测试数据，K-1个训练数据 3.在K-1个训练数据上训练模型 4.把这个模型放到测试数据集，得到分类率 5计算K次得到平均值，作为该模型或者假设函数的真是分类率。 过程繁琐，需要k此训练和K次测试 2.留一/P法 leaveoneo...
Scikit-learn使用总结.pptx
01-05
Scikit-learn使用总结是一份深入讲解Python机器学习库Scikit-learn的关键指南。Scikit-learn是建立在NumPy、SciPy和Matplotlib等基础科学计算库之上的强大工具，专为数据分析师设计，自2007年以来，它已成为Python...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值