机器学习算法之正则化

>By joey周琦

正则化

假设目标函数为 J , 比如 J 可以是对数似然函数的负数形式,特征 i 的系数为 wi , 系数向量 w=[w1,...,wK] ,假设一共有 K 个备选类。 机器学习(分类为例)的目标就是要解决一个优化问题

w=argminwL(w)

而为了避免模型的过拟合(overfitting), 所以需要在这里进行正则化(regularization)[2]。正则化的主要思想就是控制系数 |w| 的大小,从而控制模型的复杂度,减小过拟合,提高泛化能力,常见的正则化选择有一阶和二阶,如下
二阶(L2):

w=argminwL(w)+α/2k=1Kw2k

一阶(L1):

w=argminwL(w)+αk
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值