机器学习算法系列（七）：L1正则化与L2正则化

本文主要从该博客处学习：https://blog.csdn.net/u012162613/article/details/44261657

一： 模型过拟合

简单来讲，就是在训练集上表现很好，误差很小，准确率很高，但是在测试集中，表现很差，误差很大。

第一幅图为欠拟合，第二个为正常拟合，第三个为过拟合。
解决过拟合一般有两种方法：
1.丢弃一些不能帮助我们预测的特征的数量。
2.正则化。保留所有特征，但是降低参数的大小。L2 regulation 和 L1 regulation是一种用来避免模型过拟合的方法。

二：L2 regulation

L2 regulation 也成为权重衰减，是在代价函数后边加一个正则化项。

C0代表原始的代价函数，后边那一项就是正则化项。它是这样来的：所有参数w的平方的和，除以训练集的样本大小n。λ就是正则项系数，权衡正则项与C0项的比重。另外还有一个系数1/2，1/2经常会看到，主要是为了后面求导的结果方便，后面那一项求导会产生一个2，与1/2相乘刚好凑整。
下边来看一下正则项是怎么避免过拟合的。先求导看一下：