机器学习西瓜书笔记(二)

第二章（chapter 2） 模型评估与选择 （参考机器学习西瓜书）

第一节（section 1）经验误差与过拟合

• 错误率(error rate)：分类错误的样本数占样本总数的比例称为错误率。
• 精度(accuracy)：精度 = 1 - 错误率。

如果在m个样本中有a个样本分类错误，那么错误率 E = a/m，精度 = 1 - E。

更一般地，把模型的实际预测输出与样本的真实输出之间的差异称为误差(error)。在训练集上的误差称为训练误差，在新样本/测试集上的误差称为泛化/测试误差。实际所希望的，是在新样本上能表现得很好的模型，在这里引入两个重要概念：过拟合与欠拟合。

过拟合:模型把训练样本学习的太好了，已经把训练样本自身的特点当做了所有潜在样本会存在的一般性质，会导致泛化性能下降。

上图即为学习发现过拟合时候的情况，可以看到随着学习轮数的增加，训练误差一直在下降，然而泛化误差在经历一小段下降后却开始升高，此时便需要采用一些措施来缓解过拟合问题。

欠拟合:模型在训练集上表现不佳，泛化能力也不佳。