【超参数寻优】交叉验证（Cross Validation）超参数寻优的python实现：单一参数寻优

有关交叉验证的博文有很多，这里我会引用几篇博文【参考资料1，2，3，4】，帮助大家温习一下。交叉验证可以用于机器学习训练模型的性能评价，也可以进行参数寻优，本博文主要介绍交叉验证用于机器学习参数寻优的方法。

一、交叉验证的意义

交叉验证将原始数据集分组，一部分作为训练集，一本分作为验证集。训练集用于训练模型，验证集用于评价训练模型的性能指标。
参数寻优的意义：参数的数值决定着模型的性能。
交叉验证进行参数寻优的意义：如果训练和验证的数据集是相同的，可能验证的结果特别好，但是对于新的数据集预测效果就差强人意，因为过拟合（over-fitting）。采用交叉验证方法可以保障验证数据集没有参与过模型的训练，可以给出较为准确的参数寻优结果。

二、常用的交叉验证方法

1、Hold one method

样本数据被分为两组，一组作为训练数据集，用于训练模型，另一组作为验证数据集，用于评估模型性能。
优点：容易实现，处理简单。
缺点：没有用到交叉的方法，验证数据集对于模型的训练没有任何贡献。

2、K-flod CV

样本数据被分为$k$组，每次将一组作为验证数据集，其余的$k-1$组作为训练数据集。这样就会有$k$个训练模型，这$k$个模型的验证准确率的平均值作为模型的性能指标。
优点：所有的样本都会被用于模型训练，评价结果可信。
缺点：相较于Hold one method，处理较为复杂。

3、Leave-One-Out CV（LOO-CV）

设原始数据集中有$K$个样本，每次选择一个样本作为验证数据集，其余的$K-1$个样本作为训练数据集，这样就会有$K$个训练模型，这$K$个训练模型的验证准确率平均值为模型的性能指标。
优点：每次模型训练，几乎所有的样本都会应用到，结果最可信。
缺点：需要训练的模型较多，且训练数据集样本大，计算成本高。

二、交叉验证参数寻优的python实现

1、训练模型和待寻优参数

本博文选用的训练模型为线性的SVM模型（参考资料【5】），模型的数学表达为：

min ⁡ W , b 1 2 ∥ W ∥ 2 + C 2 ∑ i = 1