机器学习第二讲 稀疏学习Lasso Regression和正则化regularization 的Ridge Regression

本文介绍了LASSO(Least Absolute Shrinkage and Selection Operator)和Ridge Regression(岭回归)两种回归方法。LASSO通过添加系数绝对值约束实现变量选择,其损失函数形状导致某些系数可以为0,适合特征选择。而Ridge通过系数平方和约束使系数接近零,但不能为零,适用于特征的平滑。L1正则化(LASSO)倾向于少数非零特征,L2正则化(Ridge)则保留更多接近零的特征。
摘要由CSDN通过智能技术生成

lasso (least absolute shrinkage and selection operator)要是能把全称背下来你能一直记住LASSO的原理是absolute shrinkage以及它有selection的作用。

Lasso来自least squares models(最小二乘法线性回归)
①常规的线性回归的做法是最小化下面这个损失函数:

在这里插入图片描述
②Lasso回归的损失函数则多了一个对于回归系数的约束条件
在这里插入图片描述
③岭回归(Ridge Regression)的损失函数也是添加了对于回归系数的约束条件:
在这里插入图片描述
Lasso回归加的是系数绝对值,而岭回归加的是系数的平方。
很显然,在损失函数中加入系数并附带限制条件会使最后的回归系数比最小二乘法回归得到的系数要小。

为什么LASSO回归能够进行变量选择(feature selection),而岭回归只能使系数接近零而不为零呢?

下面我举一个例子:
假设只有两个特征,X1和X2

  • 2
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值