正则化:glmnet包实现正则化

glmnet R包适用于线性回归和逻辑回归,通过λ和α控制岭回归和lasso的混合。当α=0时为岭回归,α=1时为lasso,0<α<1则为弹性网络回归。λ决定了惩罚项的强度,λ=0时无惩罚,λ>0时启用正则化。文章探讨了不同α取值下弹性网络回归的预测效能。
摘要由CSDN通过智能技术生成

引言:glmnet R package,其中的glm对应广义线性模型(generalized linear models),代表该包可运用于线性回归、logistic回归,以及其他一些相对少见的模型。

在glmnet包中,并不是通过λ1和λ2控制两个惩罚项的大小。相反,glmnet通过仅有一个λ,还有一个α,从而实现控制两个惩罚项的大小,α的取值范围是[0,1]。

α决定岭回归和lasso回归的组成成分。

  • 当α=0时,lasso回归的惩罚项系数为0,lasso惩罚项消失,故弹性网络回归降级为岭回归;
  • 当α=1时,岭回归的惩罚项系数为0,岭回归惩罚项消失,故弹性网络回归降级为lass0回归;
  • 当0 < α < 1,岭回归和lasso回归的惩罚项系数均存在,故弹性网络回归为岭回归和lasso回归的组合版本。
    λ决定惩罚的大小。

当λ=0时,惩罚项消失。降级为标准最小二乘法拟合线性模型或者最大似然法拟合logistic回归。
当λ>0时,惩罚项保留,通过lasso回归或(和)岭回归缩减估计的参数。

glmnet包实现正则化

install<
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Mrrunsen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值