模型的过拟合与欠拟合

        前言，在机器学习中，我们最关心的就是模型的预测结果是否能够达到我们预期的目标，然而在模型的训练过程中往往就会出现过拟合与欠拟合的问题，那么什么是过拟合什么又是欠拟合呢？下面为大家讲解基础的理论知识。

过拟合

        过拟合：在训练集上表现得很好，在测试集上表现得不好
        定义：一个假设在训练集上能够获得比其他假设更好的拟合，但是在测试集上却不能更好的拟合数据，此时就认为模型出现过拟合现象，即为：模型过于复杂
        原因：原始特征过多，存在一些嘈杂的特征，模型过于复杂是因为模型尝试去兼顾各个测试数据点
        解决方法：正则化

欠拟合

        欠拟合：在测试集和训练集上都表现的不好
        定义：一个假设在训练集上不能获得更好的拟合，并且在测试集上也不能很好的拟合数据，此时人文模型出现欠拟合现象，即为：模型过于简单。
        原因：学习到的数据特征过少
        解决方法：增加数据的特征数量

正则化

        定义：在学习的时候，数据提供的特征有些影响模型复杂度或者这个特征的数据异常点过多，所以算法在学习的时候尽量减少这个特征的影响（甚至删除这个特征）这就是正则化，注意：在调整的时候，算法并不知道某一个特征的影响，而是去调整参数得出优化的结果。
        L2正则化：
        作用：可以使模型的参数或者权重系数都很小，都接近与0，削弱某一个特征的影响
        优点：越小的参数越能够说明模型越简单，越简单的模型则越不容易产生过拟合现象Ridge回归

        L1正则化：
        作用：可以直接使模型的参数或者权重系数为0，即删除这个特征的影响
        LASSO回归

拓展

        线性回归的损失函数用最小二乘法，等价于当预测值与真实值满足正态分布时的极大似然估计，
        岭回归的损失函数是最小二乘法+L2范数，等价于当预测值与真实值的误差满足正太分布时的最大后验估计。
最大后验估计：

参考博客：(61条消息) 最大后验估计(MAP)_liangjiubujiu的博客-CSDN博客_最大后验估计