K折交叉验证学习

一、思想

交叉验证主要用于防止模型过于复杂而引起的过拟合，是一种评价训练数据的数据集泛化 能力的统计方法。其基本思想是将原始数据进行划分，分成训练集和测试集，训练集用来对模型进行训练，测试集用来测试训练得到的模型，以此来作为模型的评价指标。

二、怎么交叉检验？

讲原始数据D按比例划分，比如7：3，从数据集中随机选取70%作为训练集，剩余的百分之30作为测试集。但是只做一次的话数据就没有充分利用，所以一般有以下规则：
如果训练数据集相对较小，则会增大K值，如果训练集相对较大，则减小K值。

三、怎么K折交叉检验？

将原始数据D随机分成K份，每次选择（K-1）份作为训练集，剩余的1份（红色部分）作为测试集。交叉验证重复K次，取K次准确率的平均值作为最终模型的评价指标。过程如下图所示，它可以有效避免过拟合和欠拟合状态的发生，K值的选择根据实际情况调节。