西瓜书组队学习第二章 模型评估与选择

经验误差与过拟合

m个样本，a个分类错误。
错误率E=a/m。精度acc=1-E
误差=学习器的实际预测输出与样本的真是输出之间的差异
训练误差/经验误差=学习器在训练集上的误差
过拟合=把一般性质学的太好
欠拟合=一般性质学的不够好

评估方法

为降低泛化误差，我们在训练集的基础添加一个测试集来测试机器对新样本的判别能力。

留出法

**方法：**将训练集进行若干次随机划分，每次产生一个训练（S）/测试（T）集用于评估，留出法返回的即是若干次得到的结果的平均。
**缺陷：**若S数量过大，则结果更接近于D训练出的模型，若S太小，则训练出的模型相较于D有太大差异

交叉验证法

**方法：**将数据集D划分成k份大小相似互斥子集，，每次将k-1子集的并集作为训练集，剩下一个作为测试集，这样获得k组训练/测试集。最终返回k个测试结果的均值
**缺陷：**数据比较大时，开销是十分巨大的

自助法

**方法：**每次在数据集中随机选取D`作为训练集，这个过程重复m次， 当m区域无穷时，约有36.8%的数据未被采集到，将该部分数据作为测试集。
**缺陷：**当数据量小时，难以划分训练/测试集时很有用；此外自助法能从初始数据集中产生多个不同的训练集，这对集成学习有很大好处。
但是自助法会引来估计偏差，因此在初始数据量足时，留出法和交叉验证法更常用。

调参与最终模型 pass