模型评估和超参数调整（二）——交叉验证 （cross validation）

最新推荐文章于 2025-02-18 20:40:28 发布
最新推荐文章于 2025-02-18 20:40:28 发布
阅读量1.3w 收藏 30
点赞数 6
分类专栏： 机器学习 sklearn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Amy_mm/article/details/79902414
版权
本文详细探讨了模型评估和超参数调整的重要方法——交叉验证，包括holdout交叉验证、k折交叉验证及其变种stratified k折交叉验证。通过交叉验证，可以得到模型性能的无偏估计，诊断算法问题，并进行模型选择。文章中还介绍了如何使用sklearn库实现stratified k-fold CV。
摘要由CSDN通过智能技术生成

读《python machine learning》chapt 6 

Learning Best Practices for Model Evaluation and Hyperparameter Tuning

【主要内容】

（1）获得对模型评估的无偏估计

（2）诊断机器学习算法的常见问题

（3）调整机器学习模型

（4）使用不同的性能指标对评估预测模型

git源码地址 https://github.com/xuman-Amy/Model-evaluation-and-Hypamameter-tuning

【交叉验证 cross-validation】

常见的交叉验证方法holdout cv ,k-fold cv

【cross-validation ----holdout CV】

【主要思想】

将数据分为三部分：训练集（training data ）、 验证集（validation data） 、 测试集（test data）

训练集（training data ）：fit不同的模型

验证集（validation data）：用于模型选择

 测试集（test data）：对于泛化到新数据的性能，能得到较小偏差的估计值

流程图：

最低0.47元/天 解锁文章
基于N-HiTS神经层次插值模型的时间序列预测——交叉验证与超参数调优
时序笔记
01-02 1180
NHITS是一种解决时间序列长期预测中波动性和计算复杂性的模型。它采用了分层插值和多率数据采样技术，通过构建分层结构来降低计算成本并提高预测精度‌。相较于最新的Transformer架构，NHITS在平均精度上提升了16%，同时计算时间减少了50倍‌。这种模型能够更有效地处理时间序列数据，为时间序列分析提供了新的方法。
【python与机器学习 5-2】参数调整——交叉验证和网格搜索
flora
04-25 8693
模型参数机器学习中有两种类型的模型参数，分为模型自身参数和超参数模型自身参数模型自身参数，通过样本学习得到的参数。 如：逻辑回归及神经网络中的权重及偏置的学习等超参数超参数是模型框架的参数，通常由手工设定。 如kmeans中的k，神经网络中的网络层数及每层的节点个数。调参调的都是k，c这样的超参数。调整参数我们知道进行机器学习最重要的就是调整参数得到好的学习模型，这里调整参数指的就是超参数
机器学习读书笔记（六）Model Evaluation and Hyperparameter Tuning
weixin_45783752的博客
01-22 1014
python机器学习读书笔记读书笔记（六）Model Evaluation and Hyperparameter Tuning一、Pipeline一体化操作二、Holdout cross-validation and K-fold cross-validation1. Holdout cross-validation2.K-fold cross-validation3.Stratified k-f...
【机器学习&深度学习】交叉验证用于模型评估和参数选择
JianJuly的博客
03-16 2869
交叉验证用于模型评估： 将数据集划分为k个含有相同样本的子集：S1，S2，...，SK 不重复地每次选取其中一个子集作为测试集，剩下的子集作为训练集。计算该模型在测试集上的性能（如AUC，ACC等） 将K次的结果取平均，作为该模型在这个数据集上的性能 交叉验证用于参数选择（通常指的是超参）： 选取一组需要进行对比的超参数：λ1，λ2，...，λn 对于每一个参数λ，使用上述交叉验证用于模...
交叉验证、精确率、召回率
qq_68993495的博客
02-04 272
交叉验证，顾名思义，就是重复的使用数据，把得到的样本数据进行切分，组合为不同的训练集和测试集，用训练集来训练模型，用测试集来评估模型预测的好坏。交叉验证用在数据不是很充足的时候。如果样本大于一万条的话，我们一般随机的把数据分成三份，一份为训练集，一份为验证集，最后一份为测试集。用训练集来训练模型，用验证集来评估模型预测的好坏和选择模型及其对应的参数。使用RoC曲线和PR曲线，我们就能很方便的评估我们的模型的分类能力的优劣了。False Positives,FP：预测为正样本，实际为负样本的特征数。
YOLO目标检测模型是否进行了交叉验证？
weixin_43501408的博客
06-05 355
交叉验证（cross-validation）是一种用于评估模型性能的技术，通常在模型开发的早期阶段用于选择模型和调优超参数。它通过将数据集划分为多个子集（折），然后多次训练和验证模型，每次使用不同的子集作为验证集，剩余的作为训练集，从而获得对模型性能的可靠估计。尽管如此，研究人员或开发者在开发和优化YOLO模型时可能会使用交叉验证来选择最优的超参数或模型架构，但这不是YOLO的标准训练流程的一部分。交叉验证在计算资源和时间允许的情况下可以帮助提供模型性能的更稳定估计，尤其是在数据集较小或不均衡的情况下。
YOLOv8教程系列：三、K折交叉验证——让你的每一份标注数据都物尽其用（yolov8目标检测+k折交叉验证法）
weixin_45921929的博客
08-22 6700
YOLOv8教程系列：三、K折交叉验证——让你的每一份标注数据都物尽其用（yolov8目标检测+k折交叉验证法）
（Deep Learning）交叉验证（Cross Validation）
Hanlin的博客
04-17 4174
留一交叉验证是K折交叉验证的特殊情况，当K等于样本数N时，对于这N个样本，每次选择N-1个样本来训练数据，留一个样本来验证模型预测的好坏。ps：划分之后，会存在训练集数据不足的问题，但是在公司的项目中你必然要选出一个合适的模型进行部署，不先进行训练集和测试集的划分是选不出来合适的模型的！交叉验证的方法在数据理解上较为简单，且具有说服性，但需要谨记的是，当样本总数过大时，使用留一法的时间开销极大。（2）每次将其中的一份作为测试集，剩下的9份（即K-1份）作为训练集，此时训练集就变成了（K-1）*D。
模型评估和超参数调整（四）——网格搜索（grid search）
Amy_mm的博客
04-11 9128
读《python machine learning》chapt 6 Learning Best Practices for Model Evaluation and Hyperparameter Tuning 【主要内容】 （1）获得对模型评估的无偏估计 （2）诊断机器学习算法的常见问题 （3）调整机器学习模型 （4）使用不同的性能指标对评估预测模型 git源码地址https:/...
【机器学习】超参数调优指南：交叉验证，网格搜索，混淆矩阵——基于鸢尾花与数字识别案例的深度解析
最新发布
weixin_41645791的博客
02-18 832
本篇文章从零开始讲解交叉验证与网格搜索的概念与原理，并结合两个经典案例——鸢尾花分类与手写数字识别，展示如何在真实数据上使用 scikit-learn 的 GridSearchCV 进行 KNN 超参数调优。文章包含详细代码、注释、可视化过程以及模型评估与对比，帮助你快速上手并掌握在机器学习项目中如何寻找最优模型和超参数。赶快点赞、收藏、转发和评论吧！
Learning Best Practices for Model Evaluation and Hyperparameter Tuning
u013096864的博客
04-18 527
1.  Streamlining workflows with pipelines  1.1 Loading the Breast Cancer Wisconsin dataset from distutils.version import LooseVersion as Version from sklearn import __version__ as sklearn_vers
深度学习的目标检测——详解(1)
qq_37163376的博客
11-29 411
一、目标检测方法比较 二、两阶段检测器 2.1、R-CNN系列 非滑动窗口方式简单粗暴的提取窗口，而是根据相关方法进行候选框提取 根据图像分割的结果一步步合并成，并选取每个层次的分割结果产生候选框。 不需要单独用SVM单独训练每一类的分类器，实际中softmax已经效果很不错，有些情况下比SVM更好。 边框校准：线性变换的下标是候选框坐标x,y和框的大小w,h，输入...
深度学习目标检测中，10倍交叉验证是什么意思？
weixin_43501408的博客
01-27 1982
"10倍交叉验证"（10-fold cross-validation）是一种常用的模型评估方法，尤其在深度学习目标检测领域中。它的基本思想是将原始数据集分成10个相似大小的子集，然后进行10次实验，每次选择其中的一个子集作为测试集，剩下的9个子集作为训练集。通过多次划分，可以更好地估计模型在不同数据子集上的性能，从而更准确地评估模型的泛化能力。在目标检测任务中，这种交叉验证方法通常用于评估模型在不同数据子集上的性能，以提高评估结果的可靠性。问题描述：深度学习目标检测中，10倍交叉验证是什么意思？
模型预测笔记(三)：通过交叉验证网格搜索机器学习的最优参数
源的博客
08-24 2026
网格搜索（Grid Search）是一种超参数优化方法，用于选择最佳的模型超参数组合。在机器学习中，超参数是在训练模型之前设置的参数，无法通过模型学习得到。网格搜索通过尝试所有可能的超参数组合，并使用交叉验证来评估每个组合的性能，从而确定最佳的超参数组合。
五折交叉验证“5-fold cross-validation”
热门推荐
weixin_44299786的博客
09-20 2万+
它的基本思想是将原始数据集分成五个相等大小的子集（或折叠），其中四个子集用于训练模型，而剩下的一个子集用于测试模型。最后，将五次的性能评估结果取平均值以得到最终评估结果。模型训练和测试：依次选择其中一个子集作为测试集，其他四个子集作为训练集，训练模型并在测试集上进行评估。性能度量：对于每一次测试，可以使用各种性能度量指标，如准确度、精确度、召回率、F1分数等，来评估模型在测试集上的性能。五折交叉验证是一种常用的交叉验证技术，但在某些情况下，也可以选择其他折数（如十折交叉验证）来更全面地评估模型性能。
使用交叉验证法(Cross Validation)进行模型评估
a706769817的博客
06-02 2210
scikit-learn中默认使用的交叉验证法是K折叠交叉验证法(K-fold cross validation):它将数据集拆分成k个部分,再用k个数据集对模型进行训练和评分. 1.K折叠交叉验证法(K-fold cross validation) ############################# 使用交叉验证法对模型进行评估 ###############...
模型评估和超参数调整（一）——管道机制（pipeline）
Amy_mm的博客
04-11 3625
读《python machine learning》chapt 6 Learning Best Practices for Model Evaluation and Hyperparameter Tuning 【主要内容】 （1）获得对模型评估的无偏估计 （2）诊断机器学习算法的常见问题 （3）调整机器学习模型 （4）使用不同的性能指标对评估预测模型 git源码地址https:/...
目标检测学习笔记——CV与模型融合
phily123的博客
03-28 3195
How To CV and How To Ensemble OOF Files 一、怎么做交叉验证 将完整的数据集划分成N份（如五份，称为Fold1, Fold2, Fold3, Fold4, Fold5),然后我们训练出五个模型，比如用2-5的fold做训练，fold1做预测验证，一次进行五次训练验证。 这样我们就对所有的训练集进行过一次预测，这个预测结果称之为OOF(out of fold),CV的分数就是用所有的训练集以及预测的结果来计算得到 OOF_AUC = roc_auc_score( trai
交叉验证，五次五折，十次十折
m0_64080723的博客
03-01 3582
交叉验证的原理以及底层与sklearn代码分别实现
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值