lasso回归_机器学习解释型模型Lasso回归

最新推荐文章于 2024-04-26 11:37:13 发布
最新推荐文章于 2024-04-26 11:37:13 发布
阅读量2.5k 收藏 3
点赞数
文章标签： lasso回归

Lasso

4c9c76bfbf6d79467baff159dfd316f5.png

《线性回归》中的一般线性回归模型

Y=*X

使用最小二乘估计(OLS)可以得到，模型的参数为：

e35a6f93c0365385032a50224696a7b0.png

最小二乘估计虽然有不错的解析性，但是其在大多数情况下的数据分析能力是不够的，主要有两个原因：

预测精度问题：最小二乘法虽然是无偏估计，但是他的方差在自变量存在多重共线性(变量间线性相关)时会非常大，这个可以通过将某些系数压缩到0来改进预测精度，但这个是以一定的有偏为代价来降低预测值的方差。

模型的可解释性：自变量个数很多的时候，我们总是希望能够确定一个较小的变量模型来表现较好的结果

对于以上的问题，就有两种方法可以对最小二乘估计进行改进：子集选择lasso和脊回归。子集选择过程中，对变量要么保留，要么剔除，这很可能使得观测数据的一个微小变动就导致要选择一个新的模型，使得模型变得不稳定，但由于模型的变量少了，使得模型的解释性得到了提高；脊回归是一个连续的方法，它在不抛弃任何一个变量的情况下，缩小了回归系数，使得模型相对而言比较的稳定，但这会使得模型的变量特别多，模型解释性差。

基于以上的问题，才有了现在要说的一种新的变量选择技术:Lasso(Least Absolute Shrinkage and Selection Operator)。这种方法使用模型系数的l1l1范数来压缩模型的系数，使得一些系数变小，甚至还是一些绝对值较小的系数直接变为0，这就使得这种方法同时具有了自己选择和脊回归的优点。

Lasso回归模型，是一个用于估计稀疏参数的线性模型，特别适用于参数数目缩减。基于这个原因，Lasso回归模型在压缩感知(compressed sensing)中应用的十分广泛。从数学上来说，Lasso是在线性模型上加上了一个l1l1正则项，其目标函数为：

02b01818a5c7db565cdeda59473c5a27.png
weixin_39563827
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
lasso回归_LASSO回归模型
weixin_39620099的博客
12-03 6335
LASSO是由1996年Robert Tibshirani首次提出，全称Least absolute shrinkage and selection operator。该方法是一种压缩估计。它通过构造一个惩罚函数得到一个较为精炼的模型，使得它压缩一些回归系数，即强制系数绝对值之和小于某个固定值；同时设定一些回归系数为零。因此保留了子集收缩的优点，是一种处理具有复共线性数据的有偏估计。设置正则化参数...
LASSO回归实践
09-06
基于LASSO方法，在基金正式报告之前挖掘出基金重仓股。
机器学习Lasso回归重要论文和Matlab代码
12-02
机器学习和稀疏表示中Lasso问题的经典论文和LARS算法代码。其中有Lasso提出者的一篇不可多得的综述性文章，以及LARS求解方法的论文和matlab代码。觉得不错的，赞一个！
Lasso回归（概念+实例）
weixin_47151388的博客
04-26 3596
Lasso回归（Least Absolute Shrinkage and Selection Operator，最小绝对收缩和选择算子回归），是一种在统计学中广泛使用的回归分析方法。其核心在于通过对系数进行压缩，以达到变量选择和复杂度调整的目的，从而提高模型的预测精度和解释能力。Lasso回归在处理具有多重共线性数据或者高维数据时尤其有效。
LASSO回归的数学基础与理论
禅与计算机程序设计艺术
01-07 981
1.背景介绍 回归分析是一种常用的统计方法，用于预测因变量的值，以及确定因变量与自变量之间的关系。在实际应用中，我们经常会遇到高维数据集，这些数据集中的因变量和自变量数量可能非常大。在这种情况下，传统的回归分析方法可能会遇到过拟合的问题，导致模型的泛化能力降低。为了解决这个问题，我们需要一种更加有效的回归分析方法，这就是LASSO回归发展的背景。 LASSO(Least Absolute Sh...
R语言实现Lasso回归
weixin_46587777的博客
11-26 3452
1. `Measure: Mean-Squared Error`：这一部分指示了用于评估模型性能的指标，这里使用的是均方误差（Mean-Squared Error），通常用于回归问题的性能度量，它衡量了模型的预测值与实际观测值之间的平均平方误差。较大的 λ（lambda) 会导致更多的系数变为零，从而降低模型的复杂性，而较小的 λ（lambda) 允许更多的非零系数，使模型更复杂。- **非零系数的特征：** 对于每个特征，从左到右的路径线表示了在 λ 增大的情况下系数的变化。系数可以是正数、负数或零。
LASSO回归
fakerth的博客
09-10 8160
LASSO(Least Absolute Shrinkage and Selection Operator，最小绝对值收敛和选择算子算法)是一种回归分析技术，用于变量选择和正则化。它由Robert Tibshirani于1996年提出，作为传统最小二乘回归方法的替代品。
机器学习算法系列（五）- Lasso回归算法（Lasso Regression Algorithm）
热门推荐
Saisimon`s blog
01-07 6万+
机器学习算法系列（五）- Lasso回归算法（Lasso Regression Algorithm）
什么是LASSO回归，怎么看懂LASSO回归的结果
weixin_46587777的博客
11-26 2万+
LASSO，全称Least absolute shrinkage and selection operator，是一种数据挖掘方法，即在常用的多元线性回归中，添加惩罚函数，不断压缩系数，从而达到精简模型的目的，以避免共线性和过拟合。当系数为0时，同时达到筛选变量的效果。（以下是一个不严谨的示意图）所以，LASSO回归高效解决了筛选变量的难题：区别于传统的逐步回归stepwise前进、后退变量筛选方法，LASSO回归可以利用较少样本量，高效筛选较多变量。
多元线性回归-Lasso
weixin_60200880的博客
11-28 7455
和岭回归的交叉验证相似，除了进行交叉验证之外，LassoCV也会单独建立模型，它会先找出最佳的正则化参数，然后在这个参数下按照模型评估指标进行建模，需要注意的是，LassoCV的模型评估指标选用的是均方误差，而岭回归的模型评估指标是可以自己设定的，并且默认是。的大小，对标签贡献更少的特征的系数会更小，也会更容易被压缩。可见，比起岭回归，Lasso所带的L1正则项对于系数的惩罚要重很多，并且它会将系数压缩至0，因此可以被用来作特征选择，也因此，我们往往让Lasso的正则化系数。在很小的空间中变动。
Lasso回归
Improvement
01-03 4868
Lasso回归是一种线性模型，该方法是一种压缩估计。它通过构造一个惩罚函数得到一个较为精炼的模型，使得它压缩一些回归系数，即强制系数绝对值之和小于某个固定值；同时设定一些回归系数为0。也是一种处理复共线性数据的有偏估计。本文同时还介绍了其超参数的选择方法——交叉验证和信息准则，一般选择交叉验证方法。
Lasso和Adaptive lasso回归模型——基于R语言lars包的改写
04-28
基于R语言lars包的改写，详细实现lasso模型和adaptive lasso模型，并使用两个模型分别研究了幸福指数的影响因素，得出：Adaptive lasso模型具有更强的Oracle性质。
机器学习算法-线性回归、Lasso回归、Ridge回归算法python实现
06-17
机器学习算法的python实现，包括线性回归、Lasso回归、Ridge回归、决策树回归、随机森林回归算法。该代码中使用了UCI concrete compressive strength（加州大学欧文分校混凝土抗压强度数据集）。代码包括对输入特征...
岭回归与LASSO回归模型.ipynb
05-22
岭回归和Lasso回归 需要数据的请私信我
机器学习：基于线性回归、岭回归、xgboost回归、Lasso回归、随机森林回归预测卡路里消耗
最新发布
06-11
机器学习：基于线性回归、岭回归、xgboost回归、Lasso回归、随机森林回归预测卡路里消耗 1. 线性回归：线性回归是一种基本的机器学习算法，用于建立连续变量和一个或多个自变量之间的线性关系模型。在预测卡路里消耗...
7.机器学习-十大算法之一拉索回归（Lasso）算法原理讲解
weixin_50804299的博客
04-22 7677
拉索回归（Lasso Regression）是一种线性回归的正则化形式，它通过引入L1范数惩罚项来实现模型的稀疏性，从而有助于特征选择。在机器学习和统计学中，当数据集具有许多特征时，可能会遇到特征之间存在多重共线性或者某些特征对预测结果影响不大的情况。标准的线性回归方法可能会导致模型过拟合，并且难以解释。为了解决这个问题，拉索回归被提出。它在最小二乘法的基础上，对系数向量添加了一个L1范数惩罚项，这个惩罚项等于所有回归系数绝对值之和的λ倍（λ为惩罚系数）。
机器学习方法：回归（二）：稀疏与正则约束ridge regression，Lasso
weixin_30622181的博客
03-26 844
欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。 “机器学习方法“系列，我本着开放与共享（open and share）的精神撰写，目的是让更多的人了解机器学习的概念，理解其原理，学会应用。希望与志同道合的朋友一起交流，我刚刚设立了了一个技术交流QQ群：433250724，欢迎对算法、技术、应用感兴趣的同学加入，在交流中拉通——算法与技...
【LASSO回归原理与应用】
武帝为此的博客
12-29 1183
LASSO回归是一种线性回归的变种，它在普通线性回归的基础上引入了L1正则化。L1正则化的主要特点是通过加入L1范数惩罚项，鼓励模型系数向零稀疏化，即将一些特征的系数缩小到零，从而实现特征选择的效果。有利于处理高维数据集和减少过拟合。通过查看模型的系数，可以了解哪些特征对目标变量的预测最重要。使用测试集对模型进行评估。
【机器学习】Lasso模型
xiaohutong1991的专栏
08-13 2万+
大V
机器学习的lasso回归实战
04-03
Lasso回归是一种基于线性回归的正则化方法，它可以通过对模型系数的L1范数进行惩罚来实现特征选择和降维的效果。在本实战中，我们将利用Python中的Scikit-Learn库来实现对Lasso回归的探索和应用。 1. 数据集介绍 我们将使用Scikit-Learn库自带的波士顿房价数据集，该数据集包含506个样本和13个特征，目标变量是该地区的房价中位数。我们将使用这个数据集来演示如何使用Lasso回归来预测房价。 2. 数据集预处理 首先，我们需要将数据集分成训练集和测试集，以便我们可以在训练集上拟合模型，并在测试集上评估模型的性能。我们将数据集分成80%的训练集和20%的测试集。 ```python from sklearn.datasets import load_boston from sklearn.model_selection import train_test_split # 加载数据集 boston = load_boston() # 分割数据集为训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(boston.data, boston.target, test_size=0.2, random_state=42) ``` 接下来，我们将对特征进行缩放。这是因为，Lasso回归对特征的缩放非常敏感，不同的特征缩放程度不同，可能会导致模型的表现不佳。 ```python from sklearn.preprocessing import StandardScaler # 对特征进行缩放 scaler = StandardScaler() X_train = scaler.fit_transform(X_train) X_test = scaler.transform(X_test) ``` 3. Lasso回归模型训练 现在我们可以开始训练Lasso回归模型了。我们将使用Scikit-Learn库中的Lasso类来实现。Lasso类的主要超参数是alpha，它控制了对模型系数的惩罚程度。较高的alpha值会导致更多的系数被缩小到零，使模型更加稀疏。 ```python from sklearn.linear_model import Lasso # 创建模型，并拟合训练集 lasso = Lasso(alpha=0.1) lasso.fit(X_train, y_train) ``` 4. 模型评估 现在，我们将使用测试集来评估模型的性能。我们将使用均方误差（MSE）和决定系数（R^2）作为评估指标。MSE是预测值与真实值之间的差异的平方的平均值，R^2是预测值与真实值之间的相关性的平方。 ```python from sklearn.metrics import mean_squared_error, r2_score # 在测试集上进行预测 y_pred = lasso.predict(X_test) # 计算MSE和R^2 mse = mean_squared_error(y_test, y_pred) r2 = r2_score(y_test, y_pred) print("MSE:", mse) print("R^2:", r2) ``` 输出结果为： ``` MSE: 26.39288651596332 R^2: 0.6684825753977207 ``` 我们可以看到，模型的MSE为26.39，R^2为0.67。这意味着模型可以解释目标变量的约67%的方差，但仍有很大的改进空间。 5. 特征选择 Lasso回归的一个主要应用是特征选择。它可以通过对系数进行惩罚来使一些系数缩小到零，从而实现自动特征选择的效果。我们可以检查模型的系数来确定哪些特征对预测结果最为重要。 ```python # 查看系数 lasso_coef = pd.DataFrame({"feature": boston.feature_names, "coef": lasso.coef_}) print(lasso_coef) ``` 输出结果为： ``` feature coef 0 CRIM -0.000000 1 ZN 0.000000 2 INDUS -0.000000 3 CHAS 0.000000 4 NOX -0.000000 5 RM 3.483788 6 AGE -0.000000 7 DIS -0.000000 8 RAD -0.000000 9 TAX -0.000000 10 PTRATIO -1.854240 11 B 0.000000 12 LSTAT -3.741204 ``` 我们可以看到，模型将大多数特征的系数缩小到了零，只有RM、PTRATIO和LSTAT这三个特征的系数不为零。这表明这三个特征对预测结果最为重要。 6. 超参数调优 最后，我们可以尝试调整Lasso回归的超参数alpha，以寻找最佳的模型性能。我们可以使用交叉验证来选择最佳的alpha值。 ```python from sklearn.model_selection import GridSearchCV # 定义超参数网格 param_grid = {"alpha": [0.001, 0.01, 0.1, 1, 10]} # 创建交叉验证对象 grid_search = GridSearchCV(Lasso(), param_grid, cv=5) # 在训练集上训练交叉验证对象 grid_search.fit(X_train, y_train) # 输出最佳alpha值和交叉验证分数 print("Best alpha:", grid_search.best_params_["alpha"]) print("CV score:", grid_search.best_score_) ``` 输出结果为： ``` Best alpha: 0.1 CV score: 0.7049669646092562 ``` 我们可以看到，最佳的alpha值为0.1，交叉验证分数为0.70。这比我们之前的模型性能有所提高，说明调整超参数可以帮助我们改善模型的性能。 至此，我们已经完成了对Lasso回归的探索和应用。通过本实战，我们可以了解到Lasso回归的原理、如何使用Scikit-Learn库来实现Lasso回归、如何评估模型性能以及如何使用Lasso回归进行特征选择和超参数调优。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值