机器学习第二章。

Q:怎么进行对一个模型的评估，并选择其中的泛化误差较小的一个。

首先说明过拟合与欠拟合。过拟合：把训练样本不太一般的特性都学到了。欠拟合：未能学好训练样本的一般特性。

由于过拟合现象的存在，训练误差不适合拿来作为标准。所以我们拿包含m个样例的数据集D，将它进行划分，得到一个训练集S和一个测试集T。用T来评估其测试误差，作为对泛化误差的估计。有几种常见的做法//10.11

留出法

直接将数据集划分为两个互斥的集合。在划分的过程中要注意保持数据的一致性，在分类中，需要保持样本的类别比例相似。还有一个问题是如何对数据集D进行分割。一般要重复进行若干次随机划分，重复进行实验评估后取平均值作为留出法的评估结果。需要注意的是训练集和测试集的比例，若训练集包含绝大多数样本，那么由于T较小，评估结果会不太准确，反之S较小会导致评估结果的保真性。

交叉验证法

将数据集D划分为k个大小相似的互斥子集。然后每次对k-1进行训练，余下的作为测试。由于划分的方式不同，适用不同的划分重复p次。最终返回k个测试结果的均值。特殊情况有留一法，即令k=m（样本的数量）。

自主法

即构造一个新的训练样本数量也为m的训练集D'，采用自主采样法。D-D'为测试集。

错误率与精度。查准率，查全率与F1。ROC,AUC。//10.12