模型评估与选择--经验误差与过拟合

P问题：可以在多项式（O(n^k))的时间复杂度内解决。

NP问题：一个问题的解可以在多项式的时间内被验证。

NP-hard问题：任意np问题都可以在多项式时间内归约为该问题，但该问题本身不一定是NP问题。归约的意思是为了解决问题A，先将问题A归约为另一个问题B，解决问题B同时也间接解决了问题A。

        通常把分类错误样本数占样本总数的比例称为“错误率”，正确率称为“精度”。把学习器在训练集上的误差称为“训练误差”或“经验误差”，在新样本上的误差称为“泛化误差”。遗憾的是，即使学习器在训练集上的真确率达到100%，但是这也不是我们想要的学习器，反而这样的学习器反而不好。

        但学习器把训练样本学得“太好”了的时候，很可能已经吧训练样本自身的一些特点当做了所有潜在样本都会具有的一般性质。这样会导致泛化性能下降，这种现象在机器学习中称为“过拟合”，与“过拟合”想对应的是“欠拟合”

        有很多因素导致过拟合，最常见的是学习器的学习能力过于强大，以至于吧训练样本中所包含的不具有代表性质的特性也学习到了，而欠拟合则通常是由于学习能力底下而造成的，过拟合是无法避免的，我们所能做的只是“缓解”。