【Python机器学习】模型评估与改进——交叉验证

交叉验证是一种评估泛化性能的统计学方法，它比单次划分训练集和测试集的方法更稳定、前面。在交叉验证中，数据被多次划分，并且需要训练多个模型。最常用的交叉验证是k折交叉验证，其中k是由用户指定的数字，通常取5或10,。在执行5折交叉验证时，首先将数据划分为大致相等的5部分，每一部分叫做折。接下来训练一系列模型。使用第1折作为测试集，其他折作为训练集来训练第一个模型。利用2~5折中的数据来构建模型，然后在1折上评估精度。之后构建另一个模型，这次使用2折作为测试集，1、3、4、5折中的数据作为训练集。利用3、4、5作为测试集继续重复这一过程。

对于将数据划分为训练集和测试集的这5次划分，每一次都要计算精度。

最后我们得到了5个精度值，整个过程如图所示：

import mglearn
import matplotlib.pyplot as plt

mglearn.plots.plot_cross_validation()
plt.show()

通常来说，数据的前五分之一是第一折，第二个五分之一是第二折，以此类推。

scikit-learn是利用model_selection模块中的cross_val_score函数来实现交叉验证的。

cross_val_score函数的参数是我们想要评估的模型、训练数据与真实标签。

我们在iris数据集上对LogisticRegression进行评估：

from sklearn.model_selection import cross_val_score
from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression

iris=load_iris()
logreg=LogisticRegression()

scores=cross_val_score(logreg,iris.data,iris.target,cv=5)
print('交叉验证精度：{}'.format(scores))

cv参数是用来设置折数的。

总结交叉验证精度的一种常用方法是计算平均值：

print('交叉验证精度平均数：{:.2f}'.format(scores.mean()))

我们可以从交叉验证平均值中得出结论，我们预计模型的平均精度约为96%。观察5折交叉验证得到的所有5个精度值，还可以发现，折与折之间的精度有较大的变化，范围从93%-100%。

这可能意味着模型强烈依赖于将某个折用于训练，但也可能只是因为数据集的数据里太小。