交叉验证

由于我们已经完成了训练模型的工作，因此我们无法假设它可以在以前从未见过的数据上运行良好。换句话说，我们无法确保模型在生产环境中具有所需的准确性和差异性。我们需要某种程度的保证，以保证模型所预测的准确性。为此，我们需要验证我们的模型。决定量化变量之间的假设关系的数值结果是否可接受作为数据描述的过程称为验证。
为了评估任何机器学习模型的性能，我们需要对一些看不见的数据进行测试。根据模型在看不见的数据上的表现，可以说我们的模型是欠拟合/过度拟合/很好概括的。交叉验证（CV）是用于测试机器学习模型有效性的技术之一，如果数据有限，它也是用于评估模型的重新采样程序。要执行CV，我们需要保留一个样本/部分不用于训练模型的数据，稍后再将该样本用于测试/验证。
以下是用于简历的几种常用技术。

Train_Test拆分方法。
通过这种方法，我们将完整的数据随机分为训练集和测试集。 然后在训练集上执行模型训练并将测试集用于验证目的，理想情况下将数据分为70:30或80:20。 如果我们的数据有限，则使用这种方法可能会产生较高的偏差，因为我们会错过一些尚未用于训练的数据信息。 如果我们的数据非常庞大，并且我们的测试样本和训练样本具有相同的分布，则可以接受这种方法。我们可以使用切片将数据手动拆分为训练集和测试集，也可以使用scikit-learn方法的train_test_split来完成此任务。

K折交叉验证：
K-Fold是一种流行且易于理解的方法，与其他方法相比，它通常会导致模型偏差较小。 因为它可以确保原始数据集中的每个观察结果都有机会出现在训练和测试集中。 如果输入数据有限，这是最好的方法之一。

该过程具有一个称为k的单个参数，该参数表示将给定数据样本拆分为的组数。这样，该过程通常称为k倍交叉验证。当选择k的特定值时，可以在模型参考中使用k的特定值，例如k = 10变为10倍交叉验证。

它是一种流行的方法，因为它易于理解，并且与其他方法（例如简单的训练/测试拆分）相比，它通常导致对模型技能的偏见或乐观程度较低。

一般步骤如下：

随机调整数据集。
将数据集分成k组
对于每个唯一组：

1. 将小组作为测试数据集
2. 将其余组作为训练数据集
3. 在训练集上拟合模型并在测试集上进行评估
4. 保留评估分数并丢弃模型
   使用模型评估分数样本来总结模型的技能

重要的是，数据样本中的每个观察值都被分配到一个单独的组中，并在整个过程中停留在该组中。这意味着每个样本都有机会在保留集中使用1次并用于训练模型k-1次。

同样重要的是，在拟合模型之前进行任何数据准备都应在循环内的CV分配的训练数据集上进行，而不是在更广泛的数据集上进行。 这也适用于任何超参数调整。 无法在循环中执行这些操作可能会导致数据泄漏和对模型技能的乐观估计。

k的配置

必须为您的数据样本仔细选择k值。

k的错误选择值可能会导致模型技能的陈述不正确，例如方差高（基于用于拟合模型的数据可能会发生很大变化）的得分，或者偏倚较大，（例如对模型技能的高估）。

选择k值的三种常见策略如下：

代表：k的值经过选择，以使每个训练/测试组的数据样本足够大，足以在统计学上代表更广泛的数据集。
k = 10：k的值固定为10，这是通过实验发现的，通常会导致模型技能估计具有低偏差和适度方差。
k = n：k的值固定为n，其中n是数据集的大小，每次测试一个样本，最后取均值。以便为每个测试样本提供在保留数据集中使用的机会。这种方法称为留一法交叉验证。
k的选择通常为5或10，但没有正式的规则。随着k变大，训练集和重采样子集之间的大小差将变小。随着这种差异的减小，该技术的偏见会变小

k = 10的值在应用机器学习领域中很常见，如果您很难为数据集选择一个值，建议使用k = 10。

总而言之，在k倍交叉验证中与k的选择相关联的偏差方差折衷。通常，考虑到这些考虑因素，人们将使用k = 5或k = 10进行k倍交叉验证，因为这些值已根据经验进行了显示，从而得出了既不因偏倚过高也无极高方差的测试错误率估算值。

如果选择的k值未均匀分割数据样本，则一组将包含其余示例。最好将数据样本分成具有相同样本数的k个组，以使模型技能分数的样本都相等。