正则化

正则化

正则化一般的形式如下

i=1ML(yi,f(xi;θ))+λJ(f)

正则化项一般是模型复杂度的单调递增函数。当模型越复杂的时正则化项越大,而当模型越复杂的时候就越容易产生过拟合。因此我们不仅要最小化损失函数,同时还要减小模型的复杂度。

防止过拟合,提高泛化能力。

上式中 λ 是模型复杂度和损失函数之间的权衡,当 λ 很大时,模型越越简单,但是可能会发生欠拟合。当 λ 很小时,模型复杂,模型可能会发生过拟合。通常使用交叉验证确定 λ

正则化项可以对应于贝叶斯先验概率,简单的模型先验概率比较高,复杂的模型概率比较小。

有两种方式可以表示正则化项

i=1ML(yi,f(xi;θ))+λ||θ||1i=1ML(yi,f(xi;θ))+λ||θ||2

两者都可以表示模型的复杂度,但两者的作用却不一样

  1. 对于 L1范数,参数更趋向于等于0,学习得到的参数更加稀疏,具有特征选择的作用
  2. 对于L2范数,每个参数都比较均衡,非0参数比较多,得到的参数更加平滑

总结:

  1. 减小模型的复杂度,提高模型的泛化能力
  2. 相当于权值的先验概率
  3. 减小特征值,对应于模型复杂度减小
  4. 减小参数空间
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值