正则化的具体理解

 对于正则化,个人很不明白其具体的含义,直到今天,我突然对正则化有了一些顿悟,用来跟大家分享。


 说到正则化,我们先弄明白几个概念:1.欠拟合  2.合适拟合  3.过拟合


从字面意义上说,大家对这3个概念都不陌生,具体说一下过拟合,如果我们有非常多的特征,那么通过学习得到的拟合方程有可能对训练集拟合的非常好 J(θ)=1mmi=112(hθ(x(i))y(i))20      但是对于新数据预测的很差,这就是过拟合。


而正则化,就是针对过拟合的问题提出来的,想要解决过拟合的问题有2种方法,1是降低特征的数量,此方法看似简单,其实不然,想减少特征又要把那些对结果影响大的特征保留不是一件容易的事,第二种方法就是我们今天的主题,正则化。


正则化的思路与降低维数的思路是一样的,不同在于他并没有降低特征的数量,而是减少了特征的维数。正则化的好处是当特征很多时,每一个特征都会对预测y贡献一份合适的力量。

                              

如上图所示,左边是一个合适的拟合,而右边则是一个过拟合,直观来看我们需要做的就是将 x3,x4

的影响消除,简单的做法就是将原有的成本函数加上2个很大的惩罚项,使后两项的参数约为0。




上式就是一个正则化的成本函数,其中拉马达,我们的目标就是最小化上式。

这就是正则化的基本含义。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值