模型评估标准与指标

模型评估标准与指标

K折交叉验证

交叉验证 交叉验证( Cross Validation )是一种比较好的衡量机器学习模型的统计分析方法，可以有效避免划分训练集和测试集时的随机性对评价结果造成的影响 ，我们可以把原始数据集平均分为 K 组不重复的子集, 每次选 K − 1 组子集作（K 一般大于 3）为训练集, 剩下的一组子集作为验证集，这样可以进行 K 次试验并得到 K 个模型,将这 K 个模型在各自验证集上的错误率的平均作为分类器的评价 。

举个例子：

1. 假设有10000个数据样本
2. 选择2500个当做测试集（用于检查最终的训练结果）
3. 剩下7500个训练集我们把训练集分成3份（这里几份就是几折）
4. 然后如图：分别选择一份作为验证集，两份作为训练集（每次超参数的设定不变）
5. 我们选定一个指标，根据指标/N，这里比如（错误率/3），用作评判这一组超参数的好坏。
   
6. 这样我们就选择好了超参数，在用全部的训练集，和选定好的超参数进行训练。
7. 训练好的结果去预测测试集。

备注：假如我们选择了要验证的超参数，lr[0.1,0.01,0.001]，ζ[4,5,6]，那么最后就会进行3*3=9次交叉验证。