十折交叉验证python_机器学习（十二）交叉验证实例

1 交叉验证简介

1.1 交叉验证是什么交叉验证的基本思想是把在某种意义下将原始数据(dataset)进行分组,一部分做为训练集(train set),另一部分做为验证集(validation set or test set),首先用训练集对分类器进行训练,再利用验证集来测试训练得到的模型(model),以此来做为评价分类器的性能指标。---来自百科

1.2 为什么需要交叉验证

假设有个未知模型具有一个或多个待定的参数，且有一个数据集能够反映该模型的特征属性(训练集)。适应的过程是对模型的参数进行调整，以使模型尽可能反映训练集的特征。

如果从同一个训练样本中选择独立的样本作为验证集合，当模型因训练集过小或参数不合适而产生过拟合时，验证集的测试予以反映。

总的来说：交叉验证是一种预测模型拟合性能的方法。

2 交叉验证常见的方法

2.1 Holdout 验证将原始数据随机分为两组，一组做为训练集，一组做为验证集，利用训练集训练分类器，然后利用验证集验证模型，记录最后的分类准确率为此分类器的性能指标。

Python Code：from sklearn.model_selection import train_test_splitimport numpy as np

X = np.array([[1, 2], [3, 4],[5,6],[7, 8]])

y = np.array([1, 2, 2, 1])

X_train,X_test,y_train,y_test = train_test_split(X,y, test_size=0.50, random_state = 5)

print("X_train:\n",X_train)

print("y_train:\n",y_train)

print("X_test:\n",X_test)

print("y_test:\n",y_test)

输出X_train: [[5 6]

[7 8]]y_train: [2 1]X_test: [[1 2]

[3 4]]y_test: [1 2]

更好的holdout方法是将原始训练集分为三部分：训练集、验证集和测试集。训练机用于训练不同的模型，验证集用于模型选择。而测试集由于在训练模型和模型选择这两步都没有用到，对于模型来说是未知数据，因此可以用于评估模型的泛化能力。

Holdout方法的步骤

此种方法的好处的处理简单，只需随机把原始数据分为两组即可，其实严格意义来说Hol