线性回归（五）---弹性网络回归

最新推荐文章于 2025-03-29 21:18:18 发布

哈伦2019

最新推荐文章于 2025-03-29 21:18:18 发布

阅读量8.7k

点赞数 1

分类专栏： Python 文章标签：弹性网络回归

本文链接：https://blog.csdn.net/weixin_44723899/article/details/106474084

版权

Python 专栏收录该内容

64 篇文章

订阅专栏

本文深入探讨了弹性网络回归(ElasticNet)模型，一种结合Lasso和Ridge回归优点的线性回归方法，特别适合于处理特征间存在相关性的场景。通过调整参数alpha和l1_ratio，实现了对回归系数的有效正则化，避免过拟合。文中还提供了详细的参数解释及Python代码示例，包括使用Iris数据集进行模型训练和评估。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

弹性网络回归

弹性网络ElasticNet是同时使用了系数向量的 l1 范数和 l2 范数的线性回归模型，使得可以学习得到类似于Lasso的一个稀疏模型，同时还保留了 Ridge 的正则化属性，结合了二者的优点，尤其适用于有多个特征彼此相关的场合。

主要参数说明

alpha: a值。

fit_intercept:一个布尔值，指定是否需要计算b值。如果为False，那么不计算b值（模型会认为你已经将数据中心化了）。

max_iter:整数值，指定最大迭代次数。

normalize：一个布尔值。如果为True，那么训练样本会在回归之前被归一化。

copy_X：一个布尔值，如果为True，则会复制X值

precompute：一个布尔值或者一个序列。他决定是否提前计算Gram矩阵来加速计算。

tol：一个浮点数，指定判断迭代收敛与否的阈值。

warm_start：一个布尔值，如为True，那么使用前一次训练结果继续训练。否则重头开始训练。

positive：一个布尔值，如为Ture，那么强制要求全中响亮的分量都为整数。

selection：一个字符串，可以为‘cyclic’（更新时候，从前向后一次选择权重向量的一个分量来更新）或者‘random’（随机选择权重向量的一个分量来更新），他指定了当每轮迭代的时候，选择权重向量的一个分量来更新

random_state：一个整数或者一个RandomState实例，或者为None。如果为整数，则他指定了随机数生成器种子。如果为RandomState实例，则指定了随机数生成器。如果为None，则使用默认的随机数生成器。

%config InteractiveShell.ast_node_interactivity = 'all'   #同时输出多行结果
from sklearn.linear_model import ElasticNet
reg = ElasticNet(alpha=1.0, l1_ratio=0.7)
X = [[3], [8]]
y = [1, 2]
reg.fit(X, y)
ElasticNet(alpha=1.0, copy_X=True, fit_intercept=True, l1_ratio=0.7,
  max_iter=1000, normalize=False, positive=False, precompute=False,
  random_state=None, selection='cyclic', tol=0.0001, warm_start=False)   #参数含义和lasso和ridge类似
reg.predict([[6]])
reg.coef_
reg.intercept_

ElasticNet(alpha=1.0, copy_X=True, fit_intercept=True, l1_ratio=0.7,
      max_iter=1000, normalize=False, positive=False, precompute=False,
      random_state=None, selection='cyclic', tol=0.0001, warm_start=False)


ElasticNet(alpha=1.0, copy_X=True, fit_intercept=True, l1_ratio=0.7,
      max_iter=1000, normalize=False, positive=False, precompute=False,
      random_state=None, selection='cyclic', tol=0.0001, warm_start=False)

array([1.54198473])
array([0.08396947])
1.0381679389312977

#修改参数比较结果
reg = ElasticNet(alpha=1.0, l1_ratio=0.3)   # 修改参数，进行对比
reg.fit(X, y)
ElasticNet(alpha=1.0, copy_X=True, fit_intercept=True, l1_ratio=0.3,
  max_iter=1000, normalize=False, positive=False, precompute=False,
  random_state=None, selection='cyclic', tol=0.0001, warm_start=False)
reg.predict([[6]])
reg.coef_
reg.intercept_

ElasticNet(alpha=1.0, copy_X=True, fit_intercept=True, l1_ratio=0.3,
      max_iter=1000, normalize=False, positive=False, precompute=False,
      random_state=None, selection='cyclic', tol=0.0001, warm_start=False)

ElasticNet(alpha=1.0, copy_X=True, fit_intercept=True, l1_ratio=0.3,
      max_iter=1000, normalize=False, positive=False, precompute=False,
      random_state=None, selection='cyclic', tol=0.0001, warm_start=False)

array([1.56834532])
array([0.13669065])
0.748201438848921

#利用IRIS数据集进行弹性网络回归
import pandas  as pd
import numpy  as np
from sklearn.datasets import load_iris
from sklearn import linear_model
from sklearn import metrics
#导入IRIS数据集 
iris = load_iris() 
 #特征矩阵 
X=iris.data 
 #目标向量 
y=iris.target
from sklearn.cross_validation import train_test_split #导入数据划分包
#以20%的数据构建测试样本，剩余作为训练样本
X_train,X_test,y_train,y_test=train_test_split(X,y,test_size=0.20,random_state =1)
elastic= linear_model.ElasticNet(alpha=0.1,l1_ratio=0.5)  # 设置lambda值,l1_ratio值
elastic.fit(X_train,y_train)  #使用训练数据进行参数求解
y_hat2 = elastic.predict(X_test)  #对测试集的预测
print ("RMSE:", np.sqrt(metrics.mean_squared_error(y_test, y_hat2)))  #计算RMSE

ElasticNet(alpha=0.1, copy_X=True, fit_intercept=True, l1_ratio=0.5,
      max_iter=1000, normalize=False, positive=False, precompute=False,
      random_state=None, selection='cyclic', tol=0.0001, warm_start=False)

RMSE: 0.25040264500501913