模型评估与选择（周志华）

1. 经验误差：学习器在训练集上的误差称之为“经验误差”（empirical error）或是"训练误差"（training error）。
2. 泛化误差：学习器在测试集上的误差称之为“泛化误差”（generalization error）。
3. 过拟合：当训练精度过高时，把训练样本的一些特点也当作成所有样本的一般性质，就是过拟合。（像把训练样本中的噪点，偏差都考虑在内）
4. 留出法：将数据集拆分成互斥的两个集合然后作为训练数据tr，测试数据te，通常tr:te=2:1或是4:1。
5. 交叉验证法：将数据集划分为k个大小相近的子集，然后用k-1个子集作为训练数据，1个子集作为测试数据，然后得到k组训练测试集，从而进行k次训练和测试，这就是“k折交叉验证”（k-fold cross validation）
6. 留一法：测试数据只使用一个样本，训练数据是剩余所有数据，然后对所有数据都进行测试。
7. 自助法：给定包括k个样本的数据集D，从数据集D中随机可重复地随机抽取k个样本形成新的数据集D‘，以D’为训练集，以D中未被抽到的样本为测试集，这就是“自助法”（bootstrapping）.
8. 自助法与交叉验证的比较：在数据集较小，难以有效划分训练/测试集时，使用自助法；在初始数据量足的情况下，采用交叉验证法或是留出法。
9. 本章节余下内容，暂时用不到，先不做整理