机器学习中的L1和L2正则化项

关注微信公众号【Microstrong】,我写过四年Android代码，了解前端、熟悉后台，现在研究方向是机器学习、深度学习！一起来学习，一起来进步，一起来交流吧！

本文同步更新在我的微信公众号里，地址：https://mp.weixin.qq.com/s?__biz=MzI5NDMzMjY1MA==&mid=2247483962&idx=1&sn=ce7e07e056cb100e779d66394f9e8494&chksm=ec6533bfdb12baa9d7e0d315bb7e0ae9087f8725ac168ecdeec2121b60d8d60087d0d1b9ff46&scene=0#rd

要点：

(1)    什么是过拟合？什么是正则化项？

(2)    L1正则化

(3)    L2正则化

(4)    L1和L2正则化的直观理解

（一）什么是过拟合？什么是正则化项？

过拟合：当学习器把训练样本学得“太好”了的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样就会导致泛化性能下降，这种现象在机器学习中称为“过拟合”。训练机器学习模型的要点之一就是避免过拟合。如果发生过拟合，模型的精度会下降。避免过拟合的方式之一是使用交叉验证法训练模型，这有利于估计测试集中的错误，同时有利于确定对模型最有效的参数。本文将重点介绍另一种方法，在代价函数上加入正则化的方法来避免过拟合并提高模型的可