机器学习（周志华）学习笔记 - 数据集的划分方法

最新推荐文章于 2024-08-14 16:28:42 发布
最新推荐文章于 2024-08-14 16:28:42 发布
阅读量996 收藏 2
点赞数
分类专栏： 机器学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xjp_xujiping/article/details/110671970
版权
本文介绍了机器学习中数据集划分的四种方法：留出法、交叉验证法、留一法和自助法。留出法通过随机划分训练集和测试集，但结果可能不稳定；交叉验证法通过多次划分提高稳定性，适用于数据量适中情况；留一法评估准确但计算成本高；自助法能生成多个训练集，但可能导致数据分布变化。
摘要由CSDN通过智能技术生成

数据集D划分成训练集S和测试集T的方法

1. 留出法 (hold - out)   

直接将数据集D划分成两个互斥的集合，其中一个集合作为训练集S， 另一个集合作为训练集T

                                    D=S\bigcup T     S\bigcap T= \phi  

在进行训练集和测试集的划分时，尽可能保持数据划分的一致性，避免因数据划分过程中额外的偏差而对最终的结果产生影响。

  • ① 保持样本的类别比例相似  D中1000个样本 500个正例子， 500个反例  
  • ② 70%作为训练集 则挑 S 350正  350反     T  150正  150反

留出法的结果并不够可靠，使用留出法时，要采用若干次的随机划分，   求结果的平均

留出法的窘境： 令S包含大多数样本，训练出的模型更接近于用数据集D训练的模型， 但T少使得评估不稳定

                          令T包含大多数样本，被评估的模型与用D训练出来的模型有较大的差别。

常见的做法是 将大约 2/3-2/5 的样本用于训练

2. 交叉验证法

将数据集 D 划分成为 k 个大小相似的互斥子集， 即 

最低0.47元/天 解锁文章
无止境x
关注
专栏目录
机器学习中数据集的划分
shiter编写程序的艺术
01-11 497
其实一说到机器学习的数据集划分，我们往往都知道，有训练集、测试集。验证集、调优集一般来说不太常用。这篇博客来逐一探讨一下。
机器学习之数据集划分-自助法（bootstrapping）
charenCsdn的博客
01-29 3838
""" @author: JacksonKim @filename: bootstrapping.py @start: 2021/1/29 @end: 2021/1/29 """ import numpy as np ''' 1. 自助法以自助采样法为基础，采用放回抽样的方法，从包含m个样本的数据集D中抽取m次， 组成训练集D'，然后数据集D中约有36.8%的样本未出现在D’中，于是我们用D\D‘作为测试集 2. 自助法在数据集较小，难以划分训练/测试集时很有用 3. 自助法能从初始数据中产生多个不同的
机器学习(5)--数据集划分
Ona_Soton的博客
09-23 3012
sklearn数据集 1、数据集划分 2、sklearn数据集接口介绍 3、 sklearn分类数据集 4、 sklearn回归数据集 数据集划分 机器学习一般的数据集会划分为两个部分： 训练数据：用于训练，构建模型 测试数据：在模型检验时使用，用于评估模型是否有效【不同模型评估方式不同】 【常用比例是：75%:25%】 语法： sklearn数据集划分API sklearn.model_selection.train_test_split sklearn.datasets .
数据集划分方法
ldk的博客
08-04 1188
数据集划分是机器学习和数据科学中的一个重要步骤，主要目的是为了确保模型的有效性和可靠性。将数据集划分为互斥的子集：训练集和测试集。训练集: 用于训练模型。测试集: 用于评估模型的性能和验证其准确性。将数据集分成多个子集，通常包括训练集、验证集和测试集。训练集: 用于训练模型。验证集: 用于调整模型的超参数和选择最佳模型。测试集: 用于最终评估模型的性能。留一（P）法是一种特殊的交叉验证方法，每次从数据集中取出一（P）个样本作为测试集，其余样本作为训练集。
机器学习——数据集划分法
darknessdarkness的博客
02-03 669
机器学习——数据集划分法 常用的数据集划分方法。 ——周志华老师机器学习西瓜书的一些总结与备忘。 文章目录机器学习——数据集划分法2.2训练与测试集的划分2.2.1留出法 (hold-out)2.2.2 交叉验证法 (K-fold cross validation)2.2.3留一法 (Leave-One-Out , LOO)2.2.4 自助法 (bootstrapping) 2.2训练与测...
机器学习之划分数据集
我的E家
12-19 2453
目录 转载自： 数据拟合中的训练集，测试集，验证集 实际项目中的数据集划分 训练集和测试集的划分方法 留出法 交叉验证法 自助法（BootStrapping）  转载自： https://blog.csdn.net/c369624808/article/details/78408047 数据拟合中的训练集，测试集，验证集 训练集（Training Set）：用来训练模型，简单...
《机器学习by周志华》学习笔记-模型评估与选择-03比较检验法
vanilla698的博客
03-21 1720
通过比较检验方法进行假设检验、交叉验证t检验、5✖️2交叉验证、卡方检验等方式比较学习器、模型、算法的性能。
《机器学习by周志华》学习笔记-决策树-01决策树流程与划分规则
vanilla698的博客
05-10 917
本书中的「决策树」有时指学习方法，有时指学得的树。
《机器学习by周志华》学习笔记-决策树-03连续值与缺失值
vanilla698的博客
08-12 867
到目前为止，我们在决策树01、02中仅讨论了基于离散属性来生成决策树，而现实任务中常会遇到连续属性，所以在本章的学习中，我们将会讨论如何在决策树学习中使用连续属性。缺失值处理现实生活中的数据结构经常会遇到不完整的样本，即有些样本的某些属性值缺失。且样本数量越大，缺失的属性值会越多。例如医疗数据中隐私测量结果等。
机器学习常见的分类数据
03-01
该文件下包含了16类的图像，每类图像600张左右，很适合机器学习的初学者学习使用
各种格式机器学习常用的二分类数据集
06-21
各种格式机器学习常用的二分类数据集，还有很多，文件大小限制上传不了，可以联系我
《机器学习by周志华》学习笔记-决策树-04多变量决策树
最新发布
vanilla698的博客
08-14 1005
我们将每个样本的属性作为坐标轴，则n个属性的描述值的样本就对应了n维空间中的一个数据点。对样本分类就意味着我们将在这个空间中寻找不同类样本之间的分类边界。多变量决策树，亦称「斜决策树(obliquedecision tree)」即决策树的分类边界由若干与属性轴平行的分段组成。
机器学习——数据划分
qq_41566819的博客
12-18 2340
在机器学习中，通常将数据集划分为训练集和测试集。训练集用于训练数据，生成机器学习模型；测试集用于评估学习模型的泛化性能和有效程度。
机器学习数据集划分留出法，留一法，交叉法，自助法
热门推荐
weixin_47870618的博客
03-08 1万+
实验一 模型评估方法-数据集划分 1.数据集划分方法 对于一个包含m个样例的数据集，划分训练集S和测试集T的方法有：留出法（hold-out）、交叉验证法（cross validation）、留一法（Leave-One-Out,LOO）和自助法（boostraping）。 1）留出法 留出法：直接将数据集D划分为两个互斥的集合，一个作为训练集S，另一个作为测试集 T，即D=S∪T，S∩T=∅。 例如：数据集D中包含1000个样例，其中有500个正例和500个反例。我们可以使用7:3 ...
机器学习中数据的划分
gakki的二向箔
05-09 620
将数据集分为三个子集：训练集Training Set - 用于训练模型的子集。验证集Validation Set - 用于评估训练集的效果。测试集Test Set - 用于测试训练后模型的子集。使用训练集训练模型，使用验证集评估模型，使用测试集确认模型的效果Train model on Training Set, Evaluate model on Validation Set, Confirm ...
机器学习：数据集划分笔记
Ningbo_JiaYT的博客
02-07 2236
数据集划分学习笔记。
机器学习：模型评估与选择-数据集划分（附代码实现）
do it
10-14 3804
通过学习得到的一个学习器，我们要知道它的泛化性能，即面对新的数据，算法产生的结果好不好。显然，我们不能用使用过的数据进行评估。所以，对于手里有限的数据集，我们要进行划分，划分为训练集和测试集，测试样本尽量不在训练集中出现，训练集用来训练模型，测试集用来评估模型的性能。这里介绍3种划分方法。 1、留出法 数据集D划分为训练集S和测试集T，D=S并T,S交T=空集。如1000个数据集，500个正样...
机器学习周志华西瓜数据集
12-30
《机器学习》是由周志华教授撰写的一本经典机器学习教材。在该教材中，作者提供了一个名为“西瓜数据集”的示例数据集，用于讲解和演示机器学习算法的原理和应用。 西瓜数据集是一个二分类问题的数据集，共包含17个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值