引言:glmnet R package,其中的glm对应广义线性模型(generalized linear models),代表该包可运用于线性回归、logistic回归,以及其他一些相对少见的模型。
在glmnet包中,并不是通过λ1和λ2控制两个惩罚项的大小。相反,glmnet通过仅有一个λ,还有一个α,从而实现控制两个惩罚项的大小,α的取值范围是[0,1]。
α决定岭回归和lasso回归的组成成分。
- 当α=0时,lasso回归的惩罚项系数为0,lasso惩罚项消失,故弹性网络回归降级为岭回归;
- 当α=1时,岭回归的惩罚项系数为0,岭回归惩罚项消失,故弹性网络回归降级为lass0回归;
- 当0 < α < 1,岭回归和lasso回归的惩罚项系数均存在,故弹性网络回归为岭回归和lasso回归的组合版本。
λ决定惩罚的大小。
当λ=0时,惩罚项消失。降级为标准最小二乘法拟合线性模型或者最大似然法拟合logistic回归。
当λ>0时,惩罚项保留,通过lasso回归或(和)岭回归缩减估计的参数。
glmnet包实现正则化
install<