K折交叉验证

0.理论

K折交叉验证可以防止过拟合。它的步骤是:

1. 将数据分成K份
2. 保留一份数据用于测试，评价模型结果
3. 使用余下的K-1份数据训练模型，然后使用测试数据集来评价模型在所有这些不同的训练数据集中的效果
4. 最终误差是这些模型结果的R方的均值。

1.使用K折交叉验证避免过拟合

from sklearn.model_selection import cross_val_score, train_test_split
from sklearn import datasets
from sklearn import svm

iris = datasets.load_iris()
# 分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.4, random_state=0)
# 用支持向量机分类
clf = svm.SVC(kernel='linear', C=1).fit(X_train, y_train)
# 评估模型分数
clf.score(X_test, y_test)   

0.9666666666666667

# K折交叉验证，K取5
scores = cross_val_score(clf, iris.data, iris.target, cv=5)
# 查看分数的均值
print(scores.mean())

0.9800000000000001

# 尝试使用多项式核函数
clf = svm.SVC(kernel='poly', C=1).fit(X_train, y_train)
scores = cross_val_score(clf, iris.data, iris.target, cv=5)
# 训练集的分数
print(scores.mean())
# 测试集的分数
print(clf.score(X_test, y_test))   

0.9800000000000001
0.9

2.参考资料

Python数据科学与机器学习：从入门到实践
作者：
[美]弗兰克•凯恩（Frank Kane）

源代码下载：
https://www.ituring.com.cn/book/2426