周志华 《机器学习》之 第二章（模型评估与选择）概念总结

本书第二章主要从经验误差与过拟合、评估方法、性能度量、比较检验、偏差与方差几个方面进行介绍
1）经验误差与过拟合
错误率：表示分类错误的样本占总样本数的比例 即:

$$错误率= \frac {错误分类样本数} {样本总数}$$
精度 = 1- 错误率
误差：表示学习器的实际预测输出与样本真实输出直接的差异
训练误差与经验误差：表示学习器在训练集上的误差
泛化误差：表示学习器在新样本上的误差
过拟合：当学习器把训练样本学得“太好”了的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样就会导致泛化性能下降
欠拟合：对训练样本的一般性质尚未学好
过拟合和欠拟合分析：导致过拟合的主要原因之一是学习器的学习能力过于强大，以至于把训练样本所包含的不太一般的特性都学到了；而欠拟合则主要是因为学习器的学习能力太低下；过拟合是无法彻底避免的，我们所能做的只是缓解。而欠拟合则比较容易克服，例如在决策树学习中扩展分支、在神经网络学习中增加训练轮数等。
2）如何进行模型选择
采用评估方法评估方法、性能度量、比较检验、偏差与方差等多种手段进行评估与比较。
采用的评估方法有：留出法、交叉验证法、自助法、调参与最终模型
性能度量方法有：错误率与进度、查准率与查全率、ROC与AUC、代价敏感错误率与代价曲线
比较检验方法有：假设检验、交叉验证t检验、McMemar 检验、Friedman检验与Nemenyi后续检验
偏差与方差