我试着用Sklearn中的Nested vs. Non-Nested CV这个例子来思考。我检查了多个答案,但我仍然对这个例子感到困惑。
据我所知,嵌套CV旨在使用不同的数据子集来选择分类器的最佳参数(例如SVM中的C)并验证其性能。因此,从数据集X中,外部10倍CV(为简单起见,n=10)创建10个训练集和10个测试集:(Tr0, Te0),..., (Tr0, Te9)
然后,内部10-CV将每个外部训练集拆分为10个训练集和10个测试集:
^{pr2}$
现在,利用内部CV,我们可以找到每个外部训练集的最佳值C。这是通过用内部CV测试所有可能的C值来实现的。为特定的外部训练集选择提供最高性能(例如精度)的值。最后,在找到每个外部训练集的最佳C值之后,我们可以使用外部测试集来计算无偏精度。在这个过程中,用于识别最佳参数的样本(即C)不用于计算分类器的性能,因此我们得到了完全无偏的验证。在inner_cv = KFold(n_splits=4, shuffle=True, random_state=i)
outer_cv = KFold(n_splits=4, shuffle=True, random_state=i)
# Non_nested parameter search and scoring
clf = GridSearchCV(estimator=svm, param_grid=p_grid, cv=inner_cv)
clf.fit(X_iris, y_iris)
non_nested_scores[i] = clf.best_score_
# Nested CV with parameter optimization
nested_score = cross_val_score(clf, X=X_iris, y=y_iris, cv=outer_cv)
nested_scores[i] = nested_score.mean()
据我所知,代码只是使用两种不同的交叉验证(即不同的划分为训练集和测试集)来计算分数。他们都使用了整个数据集。GridCV使用一个(两个CV中的一个)确定最佳参数,然后使用第二个CV计算使用最佳参数时的性能。在
我是否以错误的方式解释了嵌套的CV?我在这个例子中遗漏了什么?在
编辑
答案的详细信息可在post上找到。在