到底什么是过拟合？

     过拟合和欠拟合是每一个学习机器学习的人必须要了解的，大概是机器学习中最重要最基本的一个概念，但是到底什么是过拟合？可能很多了解机器学习的人直接会说是样本太少了，模型太复杂，导致泛化能力太弱。

     没问题，但是好像还是没有从根本上解释为什么会这样。最近看了很多这方面的资料，感觉有一种解释还是比较的彻底：首先机器学习有一个很重要的假设：训练样本跟测试样本独立同分布，但是这仅仅是一个假设，实际是不可能存在的，即训练样本跟测试样本的分布总是会有一定的差异，当训练样本比较少模型比较复杂的时候，模型就具有了对训练样本精细刻画的能力。过于精细的对训练样本的分布进行刻画导致对测试样本的分布不能比较可靠的拟合与预测，这时候对测试样本预测会出现比较大的偏差。也就是过拟合。

    这种解释最大的特点是从机器学习最基本的假设出发，得到一个靠谱的解释。