sklearn机器学习:特征选择-Lasso

Lasso回归在sklearn中的实现主要关注特征选择,通过L1正则化实现系数的压缩甚至归零。核心参数是正则化系数α,坐标下降法是其求解策略。Lasso相比于岭回归,对系数的惩罚更重,适用于特征选择。可以利用交叉验证、BIC或AIC等方法确定最佳正则化系数。
摘要由CSDN通过智能技术生成

Lasso的核心作用:特征选择

Lasso类的格式

sklearn.linear_model.Lasso (alpha=1.0, fit_intercept=True, normalize=False, precompute=False, copy_X=True, max_iter=1000, tol=0.0001, warm_start=False, positive=False, random_state=None, selection=’cyclic’)
sklearn中使用类Lasso来调用lasso回归,众多参数中,比较重要的就是正则化系数α。另外需要注意的就是参数positive。当这个参数为"True"的时候,要求Lasso回归出的系数必须为正数,以此来保证α一定以增大来控制正则化的程度。
注意,sklearn中使用的损失函数是:
m i n ω 1 2 m ∣ ∣ X ω − y ∣ ∣ 2   2 + α ∣ ∣ ω ∣ ∣ 1 \large\boldsymbol{\mathop{min}\limits_\omega\frac1{2m}||X\omega-y||_2\,^2+\alpha||\omega||_1} ωmin2m1Xωy22+αω1
其中 1 2 m \Large\frac1{2m}

评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值