百面机器学习--No.4 模型评估 -- 评估方法

在机器学习中， 我们通常把样本分为训练集和测试集， 训练集用于训练模型， 测试集用于评估模型。

Q1: 在模型评估过程中， 有哪些主要的验证方法， 它们的优缺点是什么?

1. Holdout检验

它将原始的样本集合随机划分成训练集和验证集两部分。

举例 ： 70% 的样本用于模型训练； 30% 的样本用于模型验证， 包括绘制ROC曲线、 计算精确率和召回率等指标来评估模型性能。

2. 交叉检验

k-fold交叉验证 ： 首先将全部样本划分成k个大小相等的样本子集； 依次遍历这k个子集， 每次把当前子集作为验证集， 其余所有子集作为训练集， 进行模型的训练和评估； 最后把k次评估指标的平均值作为最终的评估指标。

留一验证 ：每次留下1个样本作为验证集， 其余所有样本作为测试集。

3. 自助法
   不管是Holdout检验还是交叉检验， 都是基于划分训练集和测试集的方法进行模型评估的。 自助法是基于自助采样法的检验方法。 对于总数为n的样本集合， 进行n次有放回的随机抽样， 得到大小为n的训练集。