ElasticNet Regressor（弹性网络回归） --- 论文实战

已于 2024-11-14 14:02:16 修改
阅读量1.1k 收藏 20
点赞数 19
分类专栏： 回归任务机器学习实战 文章标签： 机器学习 人工智能 回归 scikit-learn 算法
于 2024-10-30 14:48:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2201_75538245/article/details/143363220
版权

一、前言

       在《机器学习论文复现实战---linear regression》中通过Pearson 相关性分析，去除了2个高相关性特征 "PN" 和 "AN" ，数据维度变为890*25。（数据集地址）

       这里我们不做如何前期处理，直接就将数据放入 ElasticNet 模型中进行训练了。

二、模型训练过程

 2.1  导入Python库

'''====================导入Python库===
了解本专栏 订阅专栏 解锁全文 超级会员免费看
弹性网络回归（Elastic Net Regression）
qq_44133607的博客
07-17 1872
弹性网络回归结合了岭回归（Ridge Regression）和Lasso回归（Lasso Regression）的优点，通过引入两个正则化参数来实现特征选择和模型稳定性。它解决了Lasso在处理高相关特征时的缺陷，并且在处理高维数据时表现优异。
【回归算法解析系列05】弹性网络回归（Elastic Net）
最新发布
Is code
03-12 1497
弹性网络通过混合L1/L2正则化，平衡了特征选择与稳定性。在特征高度相关且需要稀疏解的场景中，弹性网络具有显著的优势。参数调优是弹性网络应用的关键。我们需要结合业务理解和自动化工具（如）来选择最优的(\lambda) 和(\rho) 值。
机器学习--弹性网络（Elastic-Net Regression）
weixin_42727538的博客
04-19 6987
机器学习–Elastic-Net Regression 基本概念 弹性网络 是一种使用 L1， L2 范数作为先验正则项训练的线性回归模型。 这种组合允许拟合到一个只有少量参数是非零稀疏的模型，就像 Lasso 一样，但是它仍然保持了一些类似于 Ridge 的正则性质。 弹性网络在很多特征互相联系的情况下是非常有用的。Lasso 很可能只随机考虑这些特征中的一个，而弹性网络更倾向于选择两个。 最小化的目标函数是: min w12nsamples∣∣Xw−y∣∣22+αρ∣∣w∣∣1+α(1−ρ)2∣∣w∣∣
机器学习算法系列（六）- 弹性网络回归算法（Elastic Net Regression Algorithm）
热门推荐
Saisimon`s blog
01-08 4万+
机器学习算法系列（六）- 弹性网络回归算法（Elastic Net Regression Algorithm）
弹性网络回归（概念+实例）
weixin_47151388的博客
04-28 7310
弹性网络回归（Elastic Net Regression）是一种用于处理回归问题的机器学习算法，它结合了岭回归（Ridge Regression）和Lasso回归（Least Absolute Shrinkage and Selection Operator Regression）的优点。弹性网络回归在应对高维数据和具有多重共线性的特征时表现出色，它可以有效地减少模型的过拟合，并在存在高度相关的特征时保持稳定性。
机器学习-三种回归方法（Ridge、LASSO和ElasticNet回归）
12-22
Section I: Brief Introduction on Three Regression Models Regulation is one approach to tackle the problem of overfitting by adding additional information, and thereby shrinking the parameter values of the model to induce a penalty against complexity. The most popular approaches to regularized linear
Python实现直方图梯度提升回归模型(HistGradientBoostingRegressor算法)并基于网格搜索进行优化同时绘制PDP依赖图项目实战
张陈亚的博客
11-05 3721
Python实现直方图梯度提升回归模型(HistGradientBoostingRegressor算法)并基于网格搜索进行优化同时绘制PDP依赖图项目实战
XGBoost Regressor --- 论文实战
2201_75538245的博客
10-31 685
基于上海交通大学曾小勤课题组的论文数据，通过 Pearson 相关性分析筛选掉高度相关的2个特征，Ridge 模型 对数据进行训练、预测，并通过GridSearchCV进行超参数搜索和cv=5的5折交叉验证，最后对结果进行可视化展示。
KNeighbors Regressor（KNN）--- 论文实战
2201_75538245的博客
10-30 492
基于上海交通大学曾小勤课题组的论文数据，通过 Pearson 相关性分析筛选掉高度相关的2个特征，KNN 模型 对数据进行训练、预测，并得出对应特征的权重Wi，最后对结果进行可视化展示。
Gradient Boosting Regressor（GBDT）--- 论文实战
2201_75538245的博客
10-31 620
基于上海交通大学曾小勤课题组的论文数据，通过 Pearson 相关性分析筛选掉高度相关的2个特征，GBDT 模型对数据进行训练、预测，并通过 GridSearchCV 进行超参数搜索和cv=5折交叉验证，最后对结果进行可视化展示。
用tensorflow实现弹性网络回归算法
09-20
主要介绍了用tensorflow实现弹性网络回归算法
Random Forest Regressor(随机森林) --- 论文实战
2201_75538245的博客
10-30 1178
基于上海交通大学曾小勤课题组的论文数据，通过 Pearson 相关性分析筛选掉高度相关的2个特征，Random Forest Regressor 模型 对数据进行训练、预测，并得出对应特征的权重Wi，最后对结果进行可视化展示。
Elastic Net 回归模型
m0_72010245的博客
10-13 719
Elastic Net回归是一种线性回归的扩展，它结合了L1（Lasso）和L2（Ridge）正则化的优点。它主要用于处理具有高维特征的数据集，并且在特征选择和多重共线性等问题上表现优越。以下是Elastic Net回归的特点和适用场景的详细介绍。
AI算法15-弹性网络回归算法Elastic Net Regression | ENR
yangguangjiujiu99的专栏
07-13 1776
在机器学习领域中，弹性网络（Elastic Net）是一种结合了L1范数（套索回归）和L2范数（岭回归）的正则化方法。它综合了两者的优点，既可以实现特征选择，又可以处理多重共线性。弹性网络在实际应用中具有广泛的用途，因此，在这篇文章中我们将探讨弹性网络正则化的公式、应用场景、优势以及如何调节超参数等方面。一般线性模型的目标函数目标函数的第一行与传统线性回归模型完全相同，即我们希望得到相应的自变量系数β，以此最小化实际因变量y与预测应变量βx之间的误差平方和。
Lasso,Ridge and Elastic-Net Regression
qq_57082933的博客
05-26 487
每天进步一点点——Lasso、Ridge、Elastic-net Regression
应用回归分析：弹性网络回归
Allen1862105的博客
02-22 2469
弹性网络回归（Elastic Net Regression）是一种广泛使用的线性回归方法，它结合了岭回归（Ridge Regression）和套索回归（Lasso Regression）的特点。通过融合这两种方法的正则化项，弹性网络旨在克服当数据集具有多重共线性、特征维度高于样本数量，或者某些特征之间存在强相关时单独使用岭回归或套索回归的局限性。本文将介绍弹性网络回归的基本原理、其优势以及在实际问题中的应用。
3.4 tensorflow弹性网络回归算法Elastic Net Regression
拟古的新打油诗的博客，输出人工智能、计算机软硬件、通信网络等领域原创内容，欢迎关注。
08-19 785
弹性网络回归算法(Elastic Net Regression)综合了Lasso回归和岭回归,即损失函数同时包含了L1正则和L2正则. import matplotlib.pyplot as plt import numpy as np import tensorflow as tf from sklearn import datasets from tensorflow.python.framework import ops ops.reset_default_graph() sess = tf.Sess
LinearRegression、岭回归、Lasso回归和ElasticNet回归总结-附python3代码实战及回归检验
qq_30868737的博客
11-05 8738
过拟合和欠拟合 开始我是很难弄懂什么是过拟合，什么是欠拟合以及造成两者的各自原因以及相应的解决办法，学习了一段时间机器学习和深度学习后，分享下自己的观点，方便初学者能很好很形象地理解上面的问题。 无论在机器学习还是深度学习建模当中都可能会遇到两种最常见结果，一种叫过拟合（over-fitting ）另外一种叫欠拟合（under-fitting）。 首先谈谈什么是过拟合呢？什么又是欠拟合呢？网上很直接的图片理解如下： 所谓过拟合（over-fitting）其实就是所建的机器学习模型或者是深度学习模型在训练样
elastic net 正则化
01-14
### Elastic Net 正则化概述 Elastic Net 是一种线性回归模型中的正则化技术，它结合了 Lasso 和 Ridge 回归的优点。通过引入两个惩罚项——L1 范数和 L2 范数，Elastic Net 可以有效地处理高维数据集并防止过拟合。 #### 工作原理 Elastic Net 的目标函数可以表示为： \[ J(\beta) = \text{RSS} + \lambda_1 \sum_{j=1}^{p} |\beta_j| + \lambda_2 \sum_{j=1}^{p} \beta_j^2 \] 其中 RSS 表示残差平方和，$\lambda_1$ 控制 L1 惩罚强度，而 $\lambda_2$ 控制 L2 惩罚强度。参数 `l1_ratio` 定义了两者之间的混合比例 $r=\frac{\lambda_1}{\lambda_1+\lambda_2}$[^1]。 当 `l1_ratio`=0 时，Elastic Net 等价于 Ridge 回归；当 `l1_ratio`=1 时，则退化成 Lasso 回归。因此，调整这个比率可以在特征选择（由 L1 实现）与系数收缩（由 L2 实现）之间找到最佳平衡点。 #### Python实现案例 下面是一个简单的例子展示如何利用 Scikit-Learn 库来应用 Elastic Net: ```python from sklearn.linear_model import ElasticNet import numpy as np # 假设 X 和 y 是训练数据 X = np.array([[0, 0], [1, 1], [2, 2]]) y = np.dot(X, np.array([1, 2])) + 3 elastic_net = ElasticNet(alpha=0.1, l1_ratio=0.5, random_state=42) elastic_net.fit(X, y) print("Coefficients:", elastic_net.coef_) print("Intercept:", elastic_net.intercept_) ``` 这段代码创建了一个具有特定超参数设置的 Elastic Net 模型实例，并将其应用于给定的数据集上进行拟合操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小码贾

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值