作者:邓子明
链接:https://www.zhihu.com/question/20700829/answer/119314862
来源:知乎
看完题主的这篇文章,才算是真的有了一定的理解,粗略的懂了那么一点点原理:
例如,你已经知道了哪几个参数是引起过拟合的元凶,那么就在后面加上这几个参数的惩罚项:比如a与b是罪魁祸首,那么就在损失函数后面加上1000a+1000b,1000是我假设的惩罚项的系数。
我们在最小化损失函数的过程中,同时也会对a和b这两个参数进行着重优化,目标是使之趋近于0,这样就达到了我们减少这两个参数所占比重的目的。从而缓解了过拟合。
即我们通过增大a与b的原始比例的方式,再通过最小化损失函数的方法,达到降低a与b的值的效果
惩罚项系数的选择也有要求,等我学完再回来补充。