机器学习中regularization正则化(加入weight_decay)的作用

转载 2015年11月19日 10:51:44

Regularization in Linear Regression

转载自:http://blog.sina.com.cn/s/blog_a18c98e5010115ta.html

 

RegularizationLinear Regression中很重要的一步。

回忆一下上篇内容:

通过使用normal equation,可以找到least square regressionclose form结果:

输入是X,输出是Y

新宇教你机器学习之 <wbr>Regularization <wbr>in <wbr>Linear <wbr>Regression

另外:

Overfitting是机器学习中的一个问题。当所构建出的模型的参数个数相对的大于数据的个数的时候,就会发生overfitting举个例子,如果有一组数据,是二维空间的5个点。一个4次多项式模型就会完全的fit所有的data points(这已经不是一个好结果了)。如果模型是一个5次或者6次多项式,regression的结果就会更糟糕。因为这5个点的分布可能只是linear的。

Linear Regression里,overfitting现象发生的特点就是会带来非常大的theta值。

假设有下列linear 模型:

新宇教你机器学习之 <wbr>Regularization <wbr>in <wbr>Linear <wbr>Regression

M就是theta的个数,当模型参数过多时,theta的值就会变得很大。

 

考虑到上面因素,Regularized Regression就是在原有cost function基础上加入了对于theta值过大的惩罚。

(下面公式的符号变了一下。。W就是上面的theta。 懒得自己重新写公式了。。。)


L2-Regularization

新宇教你机器学习之 <wbr>Regularization <wbr>in <wbr>Linear <wbr>Regression

Lambda是根据个人喜好的一个惩罚参数,你想要对overfitting多惩罚一点就调大一点


微分后得到:

新宇教你机器学习之 <wbr>Regularization <wbr>in <wbr>Linear <wbr>Regression
新宇教你机器学习之 <wbr>Regularization <wbr>in <wbr>Linear <wbr>Regression

相关文章推荐

Caffe中learning rate 和 weight decay 的理解

Caffe中learning rate 和 weight decay 的理解 在caffe.proto中 对caffe网络中出现的各项参数做了详细的解释。 1.关于learning rate   op...

超参数momentum与weight-decay的作用

超参数momentum与weight-decay的作用

正则化方法:L1和L2 regularization、数据集扩增、dropout

本文是《Neural networks and deep learning》概览 中第三章的一部分,讲机器学习/深度学习算法中常用的正则化方法。(本文会不断补充)正则化方法:防止过拟合,提高泛化能力在...

机器学习中的范数规则化之(二)核范数与规则项参数选择

机器学习中的范数规则化之(二)核范数与规则项参数选择zouxy09@qq.comhttp://blog.csdn.net/zouxy09        上一篇博文,我们聊到了L0,L1和L2范数,这篇...

深度学习超参数简单理解------>learning rate,weight decay和momentum

说到这些参数就会想到Stochastic Gradient Descent (SGD)!其实这些参数在caffe.proto中 对caffe网络中出现的各项参数做了详细的解释。 Learni...

Weight Decay in neural network

http://visualstudiomagazine.com/Articles/2014/07/01/Weight-Decay-and-Restriction.aspx?Page=2 Un...

weight decay 权值衰减

原文地址~::点我 在机器学习中,常常会出现overfitting,网络权值越大往往overfitting的程度越高,因此,为了避免出现overfitting,会给误差函数添加一个惩罚项,常...

Deep Learning源代码收集-持续更新…

Deep Learning源代码收集-持续更新…zouxy09@qq.comhttp://blog.csdn.net/zouxy09  收集了一些Deep Learning的源代码。主要是Matlab...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)