机器学习（二）经验误差与过拟合，评估方法

首先介绍经验误差与过拟合，过拟合现象出现原因，提出在现实生话中如何进行模型评估与选择？顺着提出评估方法、性能度量、比较检验、偏差与方差。

一、经验误差与过拟合

1、错误率：分类错误的样本数占样本总数的比例。精度=1-错误率

2、误差：学习器的实际预测输出与样本的真是输出之间的差异。学习器在训练集上的误差称为训练误差或经验误差，在新样本上的误差称为泛化误差，我们希望得到的是泛化误差小的学习器。然而，我们事先并不知道新的样本，所以并不能直接获得泛化误差，实际做的只有将经验误差最小化。

 3、当学习器把训练样本学得太好的时候，很可能把训练样本自身的一些特点当做了所有潜在样本都会具有的一般性质，这样会导致泛化能力降低，这种现象称为“过拟合”或过配，对训练样本的一般性质还没有学好的现象称为“欠拟合”或欠配。造成过拟合最常见的原因是由于学习能力过于强大，以至于把训练样本所包含的不太一般的性质都学到了。而欠拟合是由于学习能力低下造成的。欠拟合容易克服，而过拟合就比较麻烦，我们做的只有“缓建”过拟合，这是无法直接消除的。

理想的模型选择是先对候选模型的泛化误差进行评估，然后选择最小的泛化误差那个，然而前面提到的泛化误差不能直接得到，而经验误差由于过拟合现象的存在而不适合作为标准，那么在现实中如何进行模型评估与选择？

二、评估方法

  对上面提出问题的解决的方法是：通过实验测量来对学习器的