交叉验证python_Scikitlearn上的嵌套交叉验证示例

我试着用Sklearn中的Nested vs. Non-Nested CV这个例子来思考。我检查了多个答案,但我仍然对这个例子感到困惑。

据我所知,嵌套CV旨在使用不同的数据子集来选择分类器的最佳参数(例如SVM中的C)并验证其性能。因此,从数据集X中,外部10倍CV(为简单起见,n=10)创建10个训练集和10个测试集:(Tr0, Te0),..., (Tr0, Te9)

然后,内部10-CV将每个外部训练集拆分为10个训练集和10个测试集:

^{pr2}$

现在,利用内部CV,我们可以找到每个外部训练集的最佳值C。这是通过用内部CV测试所有可能的C值来实现的。为特定的外部训练集选择提供最高性能(例如精度)的值。最后,在找到每个外部训练集的最佳C值之后,我们可以使用外部测试集来计算无偏精度。在这个过程中,用于识别最佳参数的样本(即C)不用于计算分类器的性能,因此我们得到了完全无偏的验证。在inner_cv = KFold(n_splits=4, shuffle=True, random_state=i)

outer_cv = KFold(n_splits=4, shuffle=True, random_state=i)

# Non_nested parameter search and scoring

clf = GridSearchCV(estimator=svm, param_grid=p_grid, cv=inner_cv)

clf.fit(X_iris, y_iris)

non_nested_scores[i] = clf.best_score_

# Nested CV with parameter optimization

nested_score = cross_val_score(clf, X=X_iris, y=y_iris, cv=outer_cv)

nested_scores[i] = nested_score.mean()

据我所知,代码只是使用两种不同的交叉验证(即不同的划分为训练集和测试集)来计算分数。他们都使用了整个数据集。GridCV使用一个(两个CV中的一个)确定最佳参数,然后使用第二个CV计算使用最佳参数时的性能。在

我是否以错误的方式解释了嵌套的CV?我在这个例子中遗漏了什么?在

编辑

答案的详细信息可在post上找到。在

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值