机器学习-三种回归方法（Ridge、LASSO和ElasticNet回归）

最新推荐文章于 2022-11-05 12:59:34 发布
最新推荐文章于 2022-11-05 12:59:34 发布
阅读量2.4k 收藏 12
点赞数 1
分类专栏： 机器学习 文章标签： python
Santorinisu博客，未经授权，禁止转载!!
本文链接：https://blog.csdn.net/santorinisu/article/details/104449791
版权
Section I: Brief Introduction on Three Regression Models

Regulation is one approach to tackle the problem of overfitting by adding additional information, and thereby shrinking the parameter values of the model to induce a penalty against complexity. The most popular approaches to regularized linear regression are the so-called Ridge Regression, Least Absolute Shrinkage and Selection Operator(LASSO), AND Elastic Net Models.

  • Ridge Regression: L2 Regulation
  • LASSO Regression: L1 Regulation
  • ElasticNet Regression: L2 and L1 Regulation

Two Quantitative Measures

  • Mean Square Error(MSE)
  • R2 Score - Standard Version of MSE

FROM
Sebastian Raschka, Vahid Mirjalili. Python机器学习第二版. 南京：东南大学出版社，2018.

第一部分：Ridge Regression
代码

from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error,r2_score
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings("ignore")

plt.rcParams['figure.dpi']=200
plt.rcParams['savefig.dpi']=200
font = {'family': 'Times New Roman',
        'weight': 'light'}
plt.rc("font", **font)

#Section 1: Load data and split it into Train/Test dataset
price=datasets.load_boston()
X=price.data
y=price.target

X_train,X_test,y_train,y_test=train_test_split(X,y,
                                               test_size=0.3)

#Section 2: Ridge Regression and Least Shrinkage and Selection Operator(LASSO) AND Elastic Net
#Ridge: L2 Regulation
#LASSO: L1 Regulation
#Elastic Net: Both L1 and L2 Regulation
#Section 2.1: Ridge Model
#The parameter alpha would be the regulation stength.
from sklearn.linear_model import Ridge

ridge=Ridge(alpha=1.0)
ridge.fit(X_train,y_train)
y_train_pred=ridge.predict(X_train)
y_test_pred=ridge.predict(X_test)

plt.scatter(y_train_pred,y_train_pred-y_train,
            c='blue',marker='o',edgecolor='white',
            label='Training Data')
plt.scatter(y_test_pred,y_test_pred-y_test,
            c='limegreen',marker='s',edgecolors='white',
            label='Test Data')
plt.xlabel("Predicted Values")
plt.ylabel("The Residuals")
plt.legend(loc='upper left')
plt.hlines(y=0,xmin=-10,xmax=50,color='black',lw=2)
plt.xlim([-10,50])
plt.title("Ridge Regression Model")
plt.savefig('./fig2.png')
plt.show()

print("\nMSE Train in Ridge: %.3f, Test: %.3f" % \
      (mean_squared_error(y_train,y_train_pred),
       mean_squared_error(y_test,y_test_pred)))

print("R^2 Train in Ridge: %.3f, Test: %.3f" % \
      (r2_score(y_train,y_train_pred),
       r2_score(y_test,y_test_pred)))

结果
在这里插入图片描述
预测精度：

MSE Train in Ridge: 20.889, Test: 25.470
R^2 Train in Ridge: 0.739, Test: 0.728

第二部分：LASSO Regression

在第一部分的基础上，进一步添加如下代码。
代码

#Section 2.2: LASSO Model
#The parameter alpha would be the regulation stength.
from sklearn.linear_model import Lasso

lasso=Lasso(alpha=1.0)
lasso.fit(X_train,y_train)
y_train_pred=lasso.predict(X_train)
y_test_pred=lasso.predict(X_test)

plt.scatter(y_train_pred,y_train_pred-y_train,
            c='blue',marker='o',edgecolor='white',
            label='Training Data')
plt.scatter(y_test_pred,y_test_pred-y_test,
            c='limegreen',marker='s',edgecolors='white',
            label='Test Data')
plt.xlabel("Predicted Values")
plt.ylabel("The Residuals")
plt.legend(loc='upper left')
plt.hlines(y=0,xmin=-10,xmax=50,color='black',lw=2)
plt.xlim([-10,50])
plt.title("LASSO Regression Model")
plt.savefig('./fig3.png')
plt.show()

print("\nMSE Train in LASSO: %.3f, Test: %.3f" % \
      (mean_squared_error(y_train,y_train_pred),
       mean_squared_error(y_test,y_test_pred)))

print("R^2 Train in LASSO: %.3f, Test: %.3f" % \
      (r2_score(y_train,y_train_pred),
       r2_score(y_test,y_test_pred)))

结果
在这里插入图片描述
预测精度：

MSE Train in LASSO: 25.618, Test: 32.727
R^2 Train in LASSO: 0.680, Test: 0.650

第三部分：ElasticNet Regression

在第一、二部分的基础上，进一步添加如下代码。
代码

#Section 2.3: Elastic Net Model
#The parameter alpha would be the regulation stength.
from sklearn.linear_model import ElasticNet

elastic_net=ElasticNet(alpha=1.0,l1_ratio=0.5)
elastic_net.fit(X_train,y_train)
y_train_pred=elastic_net.predict(X_train)
y_test_pred=elastic_net.predict(X_test)

plt.scatter(y_train_pred,y_train_pred-y_train,
            c='blue',marker='o',edgecolor='white',
            label='Training Data')
plt.scatter(y_test_pred,y_test_pred-y_test,
            c='limegreen',marker='s',edgecolors='white',
            label='Test Data')
plt.xlabel("Predicted Values")
plt.ylabel("The Residuals")
plt.legend(loc='upper left')
plt.hlines(y=0,xmin=-10,xmax=50,color='black',lw=2)
plt.xlim([-10,50])
plt.title("ElasticNet Regression Model")
plt.savefig('./fig4.png')
plt.show()

print("\nMSE Train in ElasticNet: %.3f, Test: %.3f" % \
      (mean_squared_error(y_train,y_train_pred),
       mean_squared_error(y_test,y_test_pred)))

print("R^2 Train in ElasticNet: %.3f, Test: %.3f" % \
      (r2_score(y_train,y_train_pred),
       r2_score(y_test,y_test_pred)))

结果
在这里插入图片描述
预测精度：

MSE Train in ElasticNet: 24.999, Test: 31.943
R^2 Train in ElasticNet: 0.688, Test: 0.659

参考文献
Sebastian Raschka, Vahid Mirjalili. Python机器学习第二版. 南京：东南大学出版社，2018.

附录

from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error,r2_score
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings("ignore")

plt.rcParams['figure.dpi']=200
plt.rcParams['savefig.dpi']=200
font = {'family': 'Times New Roman',
        'weight': 'light'}
plt.rc("font", **font)

#Section 1: Load data and split it into Train/Test dataset
price=datasets.load_boston()
X=price.data
y=price.target

X_train,X_test,y_train,y_test=train_test_split(X,y,
                                               test_size=0.3)

#Section 2: Ridge Regression and Least Shrinkage and Selection Operator(LASSO) AND Elastic Net
#Ridge: L2 Regulation
#LASSO: L1 Regulation
#Elastic Net: Both L1 and L2 Regulation
#Section 2.1: Ridge Model
#The parameter alpha would be the regulation stength.
from sklearn.linear_model import Ridge

ridge=Ridge(alpha=1.0)
ridge.fit(X_train,y_train)
y_train_pred=ridge.predict(X_train)
y_test_pred=ridge.predict(X_test)

plt.scatter(y_train_pred,y_train_pred-y_train,
            c='blue',marker='o',edgecolor='white',
            label='Training Data')
plt.scatter(y_test_pred,y_test_pred-y_test,
            c='limegreen',marker='s',edgecolors='white',
            label='Test Data')
plt.xlabel("Predicted Values")
plt.ylabel("The Residuals")
plt.legend(loc='upper left')
plt.hlines(y=0,xmin=-10,xmax=50,color='black',lw=2)
plt.xlim([-10,50])
plt.title("Ridge Regression Model")
plt.savefig('./fig2.png')
plt.show()

print("\nMSE Train in Ridge: %.3f, Test: %.3f" % \
      (mean_squared_error(y_train,y_train_pred),
       mean_squared_error(y_test,y_test_pred)))

print("R^2 Train in Ridge: %.3f, Test: %.3f" % \
      (r2_score(y_train,y_train_pred),
       r2_score(y_test,y_test_pred)))

#Section 2.2: LASSO Model
#The parameter alpha would be the regulation stength.
from sklearn.linear_model import Lasso

lasso=Lasso(alpha=1.0)
lasso.fit(X_train,y_train)
y_train_pred=lasso.predict(X_train)
y_test_pred=lasso.predict(X_test)

plt.scatter(y_train_pred,y_train_pred-y_train,
            c='blue',marker='o',edgecolor='white',
            label='Training Data')
plt.scatter(y_test_pred,y_test_pred-y_test,
            c='limegreen',marker='s',edgecolors='white',
            label='Test Data')
plt.xlabel("Predicted Values")
plt.ylabel("The Residuals")
plt.legend(loc='upper left')
plt.hlines(y=0,xmin=-10,xmax=50,color='black',lw=2)
plt.xlim([-10,50])
plt.title("LASSO Regression Model")
plt.savefig('./fig3.png')
plt.show()

print("\nMSE Train in LASSO: %.3f, Test: %.3f" % \
      (mean_squared_error(y_train,y_train_pred),
       mean_squared_error(y_test,y_test_pred)))

print("R^2 Train in LASSO: %.3f, Test: %.3f" % \
      (r2_score(y_train,y_train_pred),
       r2_score(y_test,y_test_pred)))

#Section 2.3: Elastic Net Model
#The parameter alpha would be the regulation stength.
from sklearn.linear_model import ElasticNet

elastic_net=ElasticNet(alpha=1.0,l1_ratio=0.5)
elastic_net.fit(X_train,y_train)
y_train_pred=elastic_net.predict(X_train)
y_test_pred=elastic_net.predict(X_test)

plt.scatter(y_train_pred,y_train_pred-y_train,
            c='blue',marker='o',edgecolor='white',
            label='Training Data')
plt.scatter(y_test_pred,y_test_pred-y_test,
            c='limegreen',marker='s',edgecolors='white',
            label='Test Data')
plt.xlabel("Predicted Values")
plt.ylabel("The Residuals")
plt.legend(loc='upper left')
plt.hlines(y=0,xmin=-10,xmax=50,color='black',lw=2)
plt.xlim([-10,50])
plt.title("ElasticNet Regression Model")
plt.savefig('./fig4.png')
plt.show()

print("\nMSE Train in ElasticNet: %.3f, Test: %.3f" % \
      (mean_squared_error(y_train,y_train_pred),
       mean_squared_error(y_test,y_test_pred)))

print("R^2 Train in ElasticNet: %.3f, Test: %.3f" % \
      (r2_score(y_train,y_train_pred),
       r2_score(y_test,y_test_pred)))
Santorinisu
关注
  • 1
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
线性回归正则化 regularized linear regression
天泽28的专栏
04-08 1万+
线性回归正则化 regularized linear regression 在前几篇博客中介绍了一元线性回归http://blog.csdn.net/u012328159/article/details/50994095和多元线性回归http://blog.csdn.net/u012328159/article/details/51029695等线性回归的知识，具体请参见本人其他博客。但
机器学习5 正则化的线性回归（Regularized Linear Regression）和偏差对方差（Bias v.s. Variance）
拉风小宇的博客
05-22 2178
在这篇博文中我们将会实现正则化的线性回归以及利用他去学习模型，不同的模型会具有不同的偏差-方差性质，我们将研究正则化以及偏差和方差之间的相互关系和影响。 这一部分的数据是关于通过一个水库的水位来预测水库的流水量。为了进行偏差和方差的检验，这里用12组数据进行回归而用交叉数据集中的21组数据进行验证。
python 广义线性模型_elastic-net 正则化广义线性模型的Python实现
weixin_39981632的博客
12-22 133
pyglmnetA python implementation of elastic-net regularized generalized linear models Pyglmnet provides a wide range of noise models (and paired canonical link functions): 'gaussian', 'binomial'...
ex2_reg逻辑回归
weixin_43344710的博客
10-11 181
ex2_reg %% Initialization clear ; close all; clc%% Machine Learning Online Class - Exercise 2: Logistic Regression % % Instructions % ------------ % % This file contains code that helps you get st...
正则化与数据先验分布的关系
开飞机的小毛驴儿
05-31 3266
转载自知乎：https://www.zhihu.com/question/23536142 先抛给大家一个结论：从贝叶斯的角度来看，正则化等价于对模型参数引入 先验分布 。 一. Linear Regression 我们先看下最原始的Linear Regression: <img src="https://pic2.zhimg.com/c24e0befa5ee8a84de2
机器学习算法系列（六）- 弹性网络回归算法（Elastic Net Regression Algorithm）
热门推荐
Saisimon`s blog
01-08 3万+
机器学习算法系列（六）- 弹性网络回归算法（Elastic Net Regression Algorithm）
逻辑回顾和线性回归的区别_快速回顾各种回归技术
weixin_26642481的博客
08-31 919
逻辑回顾和线性回归的区别Here a piece of technical information on the regression types and techniques available in machine learning. It is a reference article to give little insight into the advantage and disadvan...
【机器学习05】LASSO回归与ElasticNet(弹性网)
qq_41566530的博客
05-06 1373
5 LASSO回归 5.1 简介 LASSO回归:在模型迭代过程所依据的代价函数中增加了正则惩罚项（L1范数正则化），以限制模型参数对异常样本的匹配程度，进而提高模型面对多数正常样本的拟合精度，解决过拟合问题 代价函数： J(θ)=12m∑i=1m(hθ(x(i))−y(i))2+λ∥θ∥1=12m∑i=1m(hθ(x(i))−y(i))2+λ∑j=1n∣θj∣J(\theta)=\frac{1}{2m}\sum\limits_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2+\la
一天一个机器学习小知识——Lasso、Ridge以及ElasticNet
qq_43019258的博客
10-06 3101
文章目录前言一、算法推导1.1 Lasso模型1.2 Lasso策略1.3 Lasso算法2.1 Ridge模型2.2 Ridge策略2.3 Ridge算法二、应用场景三、代码实现1.导入相关库2.读取样例数据3.划分训练集和测试集4.建立模型5.评估模型四、优缺点1.优点2.缺点 前言 上一小节主要介绍了线性回归算法，并且在文章的末尾提到了它所存在的一些缺陷，事实上在线性回归的基础上稍作改进就可以很好的客服这些缺陷。因此本小节主要介绍线性回归的几个拓展模型：Lasso、Ridge以及ElasticNe
MATLAB经典代码实现---LASSO和Elastic net
qq_35667901的博客
04-10 1万+
作为正则化约束或者变量稀疏筛选相关领域的经典分析方法，最小绝对收缩和选择方法（Least Absolute Shrinkage and Selection Operator, LASSO）和弹性网络（Elastic net）已被广泛应用到各行各业，其中较为常见的有食品、化工、医药及通信行业，两种的基本思路是在最小二乘的基础上添加变量约束实现特征筛选或变量稀疏。 （注：前期认...
机器学习算法-线性回归、Lasso回归、Ridge回归算法python实现
06-17
机器学习算法的python实现，包括线性回归、Lasso回归、Ridge回归、决策树回归、随机森林回归算法。该代码中使用了UCI concrete compressive strength（加州大学欧文分校混凝土抗压强度数据集）。代码包括对输入特征...
机器学习实战案例-基于回归算法（Lasso、Ridge、ElasticNet）对葡萄酒质量进行预测
05-09
本资源中包含机器学习，回归算法实战的源码及数据集文件。使用回归算法，包含Lasso、Ridge、ElasticNet，对葡萄酒质量数据集进行建模分析，预测葡萄酒质量等级。
机器学习实战案例-基于回归算法（Lasso、Ridge）对波士顿房屋租赁价格进行预测
05-09
本资源包含实用机器学习中的回归算法，对波士顿房价租赁价格数据进行预测的源码建模及可视化分析过程。包含程序源码及训练数据文件。 波士顿房价数据集统计的是20世纪70年代中期波士顿郊区房价的中位数，统计了城镇...
机器学习-零售商品销售预测（基于pyspark的7种回归预测，包含完整代码和数据）
06-07
案例基于pyspark开发，使用了线性，Ridge，LASSO，Elastic Net，决策树，梯度提升树以及随机森林7种回归模型完成预测，并使用了均方差和R2评估指数对七种模型效果进行了比较分析
Regularized linear regression(正则化线性回归)----吴恩达机器学习
xd1501013的博客
08-23 370
Regularized linear regression1.引入1.1梯度下降法1.2正规方程法 1.引入 接着上一篇文章的讲述，在上一篇文章中，我们将代价函数变为J(θ)=12m[∑i=1m(hθ(x)−y)2+λ∑i=1nθj2]J(\theta)=\frac{1}{2m}[\sum_{i=1}^m(h_{\theta}(x)-y)^2+\lambda \sum_{i=1}^n\theta_...
监督学习 | 线性回归 之正则线性模型原理及Sklearn实现
侠的博客
08-26 1185
文章目录1. 正则线性模型1.1 Ridge Regression（L2）1.1.1 Sklearn 实现1.1.2 Ridge + SDG1.1.2.1 Sklearn 实现1.2 Lasso Regression（L1）1.2.1 Sklearn 实现1.2.2 Lasso + SGD1.2.2.1 Sklearn 实现1.3 Elastic Net（L1&L2）1.3.1 Sklea...
一文读懂正则化：LASSO回归、Ridge回归、ElasticNet 回归
deephub
10-17 5351
将L1、L2或L1和L2正则化同时应用于线性回归 你可能听说过“Ridge”、“Lasso”和“ElasticNet”这样的术语。这些技术术语背后的基本概念都是正规化。在这篇文章中我们将详细进行说明。 一般情况下，使用正则化的目的是缓解过拟合。 正则化的主要好处是减轻过拟合，因为正则化模型能够很好地概括不可见的数据。 正则化的基本原理是通过向我们试图最小化的损失（成本）函数添加另一个项来限制（控制）模型学习过程。 正则化项（也称为惩罚项）可以采用不同的形式，本文将介绍常见的三种形式。 预测连续值输出的线性
Python实现直方图梯度提升回归模型(HistGradientBoostingRegressor算法)并基于网格搜索进行优化同时绘制PDP依赖图项目实战
京斗码农的博客
11-05 2688
Python实现直方图梯度提升回归模型(HistGradientBoostingRegressor算法)并基于网格搜索进行优化同时绘制PDP依赖图项目实战
机器学习算法ridge回归
最新发布
08-18
Ridge回归是一种机器学习算法，它是线性回归的一种变种。它在标准线性回归的基础上加入了一个正则化项，以防止过拟合。Ridge回归的核心思想是通过最小化代价函数来找到最优的回归系数。代价函数由两部分组成，一部分是均方误差，用来衡量预测值与实际值之间的差距；另一部分是正则化项，用来控制回归系数的大小。正则化项中的参数λ决定了正则化的程度，越大则对回归系数的限制越严格。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [机器学习算法-线性回归、Lasso回归、Ridge回归算法python实现](https://download.csdn.net/download/LYQZDX/87921627)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [机器学习算法系列（四）- 岭回归算法（Ridge Regression Algorithm）](https://blog.csdn.net/sai_simon/article/details/122337097)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [机器学习算法系列篇9：Lasso 和 Ridge回归算法](https://blog.csdn.net/robot_learner/article/details/103942849)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值