交叉验证法

转自:https://zhuanlan.zhihu.com/p/35394638

交叉验证法的作用就是尝试利用不同的训练集/测试集划分来对模型做多组不同的训练/测试,来应对单词测试结果过于片面以及训练数据不足的问题。

交叉验证的做法就是将数据集粗略地分为比较均等不相交的k份,即
不相交
然后取其中的一份进行测试,另外的k-1份进行训练,然后求得error的平均值作为最终的评价,具体算法流程西瓜书中的插图如下:
交叉验证法

  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
XGBoost(eXtreme Gradient Boosting)是一种优秀的机器学习算法,在训练过程中使用了梯度提升的方。为了评估XGBoost模型的性能,可以使用五折交叉验证。 五折交叉验证是一种常用的模型评估方,特别适用于数据集较小或样本不均衡的情况。它将原始数据集分成五个子集,其中四个子集用于训练模型,剩余的一个子集用于测试模型。这一过程重复五次,每次使用不同的子集作为测试集。最后将五次的结果取平均得到最终的评估指标。 使用XGBoost进行五折交叉验证的步骤如下: 1. 将原始数据集划分为五个子集(通常是随机划分)。这五个子集的大小应该尽可能相似。 2. 对于每次交叉验证改变训练集和测试集,即从五个子集中选择其中四个作为训练集,剩余的一个作为测试集。 3. 在每次交叉验证中,使用训练集对XGBoost模型进行训练。可以设置一些超参数,如列采样、树的数量和深度等等,以优化模型。 4. 使用上述训练得到的模型对测试集进行预测,并计算评估指标,如准确率、精确率、召回率等等。 5. 重复步骤2至4,直到将所有的子集都作为测试集进行了一次。 6. 将五次交叉验证的评估指标取平均,得到最终的模型性能评估结果。 五折交叉验证可以帮助我们评估在不同的训练集和测试集上的XGBoost模型性能,有效地避免了模型在特定数据集上过拟合或欠拟合。通过平均多次交叉验证的结果,我们可以更准确地评估XGBoost模型的性能,并选择最优的超参数配置。这样可以提高模型的泛化能力和稳定性,使其在未知数据上的预测结果更可靠。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值