- 经验误差:学习器在训练集上的误差称之为“经验误差”(empirical error)或是"训练误差"(training error)。
- 泛化误差:学习器在测试集上的误差称之为“泛化误差”(generalization error)。
- 过拟合:当训练精度过高时,把训练样本的一些特点也当作成所有样本的一般性质,就是过拟合。(像把训练样本中的噪点,偏差都考虑在内)
- 留出法:将数据集拆分成互斥的两个集合然后作为训练数据tr,测试数据te,通常tr:te=2:1或是4:1。
- 交叉验证法:将数据集划分为k个大小相近的子集,然后用k-1个子集作为训练数据,1个子集作为测试数据,然后得到k组训练测试集,从而进行k次训练和测试,这就是“k折交叉验证”(k-fold cross validation)
- 留一法:测试数据只使用一个样本,训练数据是剩余所有数据,然后对所有数据都进行测试。
- 自助法:给定包括k个样本的数据集D,从数据集D中随机可重复地随机抽取k个样本形成新的数据集D‘,以D’为训练集,以D中未被抽到的样本为测试集,这就是“自助法”(bootstrapping).
- 自助法与交叉验证的比较:在数据集较小,难以有效划分训练/测试集时,使用自助法;在初始数据量足的情况下,采用交叉验证法或是留出法。
- 本章节余下内容,暂时用不到,先不做整理
模型评估与选择(周志华)
最新推荐文章于 2023-07-09 10:39:55 发布