k折交叉验证

一般情况将K折交叉验证用于模型调优找到使得模型泛化性能最优的超参值。,找到后,在全部训练集上重新训练模型,并使用独立测试集对模型性能做出最终评价。

 

K折交叉验证使用了无重复抽样技术的好处:每次迭代过程中每个样本点只有一次被划入训练集或测试集的机会



K折交叉验证图:




如果训练数据集相对较小,则增大k值。

增大k值,在每次迭代过程中将会有更多的数据用于模型训练,能够得到最小偏差,同时算法时间延长。且训练块间高度相似,导致评价结果方差较高。

 

如果训练集相对较大,则减小k值。

减小k值,降低模型在不同的数据块上进行重复拟合的性能评估的计算成本,在平均性能的基础上获得模型的准确评估。



K折交叉验证的一个特例:

 留一(LOO)交叉验证法:将数据子集划分的数量等于样本数(k=n),每次只有一个样本用于测试,数据集非常小时,建议用此方法。

 

K折交叉验证改进成的 分层K折交叉验证:

       获得偏差和方差都低的评估结果,特别是类别比例相差较大时。

 

实现K折交叉验证:

使用数据集中的类标y_train初始化sklearn.cross_validation模块下的StratifiedKFold迭代器,通过n_folds参数设置块的数量。

使用kfold在k个块中迭代时,使用train中返回的索引去拟合流水线,通过pipe_lr流水线保证样本都得到适当的缩放。

使用test索引计算模型的准确率,存在score中。



[python]  view plain  copy
  1. # 使用k-fold交叉验证来评估模型性能。  
  2. import numpy as np  
  3. from sklearn.cross_validation import StratifiedKFold  
  4.   
  5. kfold = StratifiedKFold(y=y_train,   
  6.                         n_folds=10,  
  7.                         random_state=1)  
  8.   
  9. scores = []  
  10. for k, (train, test) in enumerate(kfold):  
  11.     pipe_lr.fit(X_train[train], y_train[train])  
  12.     score = pipe_lr.score(X_train[test], y_train[test])  
  13.     scores.append(score)  
  14.     print('Fold: %s, Class dist.: %s, Acc: %.3f' % (k+1, np.bincount(y_train[train]), score))  
  15.       
  16. print('\nCV accuracy: %.3f +/- %.3f' % (np.mean(scores), np.std(scores)))  

  • 50
    点赞
  • 257
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
K交叉验证是一种常用的模型评估方法,广泛应用于机器学习和深度学习中。其基本思想是将原始的训练集数据划分为K个较小的子集,然后依次选取其中一份作为验证集,其余的K-1份作为训练集,进行多次训练和评估,最终得到模型的平均评估结果。 在使用TensorFlow进行K交叉验证时,一般有以下几个步骤: 1. 数据准备:将原始的训练集数据分为K个子集。 2. 模型搭建:使用TensorFlow构建模型,并设置好模型的超参数。 3. K循环:依次选取其中一份作为验证集,其余的K-1份作为训练集,进行模型训练和评估。 4. 评估指标:选择适当的评估指标来衡量模型的性能,比如准确率、精确度、召回率等。 5. 模型融合:将K次训练得到的模型评估结果进行平均,得到最终的模型评估结果。 K交叉验证的优点是可以更客观地评估模型的性能,减少了模型在特定数据集上过拟合的可能性。同时,由于采用了多次训练和验证,可以更充分地利用数据集,提高模型的泛化能力。 然而,K交叉验证也有一些缺点,比如需要进行K次训练,计算时间较长。此外,如果数据集不够大,划分出来的子集可能会比较小,导致评估结果的可靠性降低。 总之,TensorFlow提供了便捷的接口和功能支持,可以轻松地实现K交叉验证,并通过该方法更准确地评估模型的性能,提高模型的泛化能力。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值