机器学习 -- 多项式回归（Ⅸ L1，L2正则和弹性网）

最新推荐文章于 2024-03-14 10:54:06 发布
最新推荐文章于 2024-03-14 10:54:06 发布
阅读量676 收藏 2
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_38056893/article/details/103207219
版权
本文对比了Ridge和LASSO回归，重点探讨了L1和L2正则化的概念，包括明可夫斯基距离、范数以及它们在模型正则化中的应用。此外，还介绍了弹性网Elastic Net，它是岭回归和LASSO的结合，适用于特征数量较多的情况，以平衡模型复杂度和预测精度。
摘要由CSDN通过智能技术生成

比较Ridge和LASSO

一. L1，L2正则

1. 明可夫斯基距离：

2. L_p 范数：||x||_p = (\sum ^n_{i=1}|x_i|^p)^{\frac{1}{p}}

3. L1正则项和L2正则项：

模型正则化中，通常不会使用p>2的正则项。

最低0.47元/天 解锁文章
m0_38056893
关注
专栏目录
机器学习03——线性回归过拟合正则化 L1L2正则 岭回归 Lasso回归 弹性网络
逗创科技——逗创创的博客
04-02 1458
最小二乘回归中，目标函数只考虑了模型对训练样本的拟合程度： 原则上任意复杂的模型能完全拟合训练数据。我们称之为过拟合。 • 过拟合（ overfitting ）：过于复杂的模型与训练数据拟合得太好，但和测试数据拟合得不好。 • 欠拟合（underfitting）：过于简单的模型与训练数据拟合得欠佳（和测试数据自然也拟合得不好） 注意：线性回归中采用线性模型。而线性模型是很简单的模型，所以当特征维数...
L1正则化，L2正则化和弹性网
Bonjour_h的博客
05-26 387
弹性网结合了岭回归和LASSO回归的优势
机器学习之多项式回归
若云流风的专栏
04-15 1431
零、模型1、公式y = b0 + b1X1+B2X2^2 +BnXn^n2.R平方R^2 = 1- 剩余平方和/共平方和R^2为值为0到1，越大拟合效果越好3.广义R平方（增加惩罚作用）R^2 = 1- 剩余平方和/共平方和 *（(n-1)/n-p-1）n :数据个数 p:自变量个数一、导入标准库In [16]:# Importing the libraries 导入库 import numpy ...
L1正则化和L2正则化讲解
热门推荐
Joker的博客
10-16 1万+
L1正则化和L2正则化讲解   在机器学习实践过程中，训练模型的时候往往会出现过拟合现象，为了减小或者避免在训练中出现过拟合现象，通常在原始的损失函数之后附加上正则项，通常使用的正则项有两种：L1正则化和L2正则化。   L1正则化和L2正则化都可以看做是损失函数的惩罚项，所谓惩罚项是指对损失函数中的一些参数进行限制，让参数在某一范围内进行取值。L1正则化的模型叫做LASSO回归，L2正则化的模型叫做岭回归。 LASSO回归公式 min12mΣi=1m(f(x)−y(i))2+λ∣∣w∣∣1min\fr
机器学习中岭回归、LASSO回归和弹性网络与损失函数
dege857的博客
09-11 1907
Y的实际值和Y的预测值之间的差值，就是我们的误差，在统计学中也叫残差，就是绿色的部分。由上图我们可以发现，当λ=0时β1和β2的系数都是1.5这样，当λ进一步向圈内压缩，β1和β2的系数变小，岭回归选择的点β2的系数已经被压缩到0.6这样，因此使用岭回归避免了训练模型对数据的过拟合。我们可以看到岭回归的惩罚函数是圆形，而LASSO回归的惩罚函数是菱形的，在同样的λ岭回归中β2的系数是0.6这样，而LASSO回归中β2的系数是0，表明β2已经被移除了。因此它就具有了岭回归和LASSO回归的优点，更受欢迎。
正则化综述（L2\L1正则化、弹性网络正则化，数据增强、k折交叉验证、dropout、early stopping、injecting noise）
today__present的博客
03-15 4466
正则化综述（L2\L1正则化、弹性网络正则化，数据增强、k折交叉验证、dropout、early stopping、injecting noise）
机器学习--基础算法--多项式回归与模型泛化
Mr_Wang0120的博客
05-10 316
1 scikit-learn中的多项式回归与pipeline import numpy as np import matplotlib.pyplot as plt x = np.random.uniform(-3, 3, size = 100) print(x.shape) x1 = x.reshape(-1, 1) print(x1.shape) y = 0.5 * x ** 2 + 2 + np.random.normal(0, 1, 100) print(y.shape) >>>(1
机器学习系列（七） 多项式回归和模型泛化（学习曲线、交叉验证、正则化） 2020.6.8
闵行小鱼塘
06-08 1238
本节学习多项式回归和模型泛化，包括学习曲线、交叉验证、正则化
Python 机器学习 线性回归 正则化线性模型
weixin_42098295的博客
02-15 1081
Python 机器学习中，正则化是一种减少模型过拟合的技术，通过在损失函数中添加一个正则化项来实现。对于线性回归模型，常见的正则化方法有Lasso回归（L1正则化）、岭回归（L2正则化）和弹性网络回归（同时使用L1和L2正则化）。这些方法可以调整模型的复杂度，提高模型的泛化能力。
弹性网络
我的博客
07-26 5601
ElasticNet 是一种使用L1和L2先验作为正则化矩阵的线性回归模型.这种组合用于只有很少的权重非零的稀疏模型，比如Lasso, 但是又能保持Ridge 的正则化属性.我们可以使用 l1_ratio 参数来调节L1和L2的凸组合(一类特殊的线性组合)。 当多个特征和另一个特征相关的时候弹性网络非常有用。Lasso 倾向于随机选择其中一个，而弹性网络更倾向于选择两个. 在实践中，Lasso...
L1、L2正则化区别和数学原理，以及什么是Elastic Net（弹性网络）正则项
weixin_43167121的博客
04-21 1255
先说结论： L1正则化使得模型更加稀疏，L2使得模型参数更趋近于0 再说原因： 1.Lasso 2.Ridge regression
弹性网络（Elastic Net）正则化的应用
最新发布
xiehewe的博客
03-14 826
弹性网络在实际应用中具有广泛的用途，因此，在这篇文章中我们将探讨弹性网络正则化的公式、应用场景、优势以及如何调节超参数等方面。较大的(\lambda_1)值会促使模型更倾向于稀疏解，而较大的(\lambda_2)值会减小特征的权重，防止过拟合。适用于高维数据和具有相关特征的情况。（b）处理共线性：弹性网络能够处理特征之间存在较强相关性的情况，通过综合考虑L1和L2正则化的效果，可以更好地稳定模型参数估计。（c）噪声较多的情况：弹性网络对噪声具有一定的鲁棒性，可以减小噪声对模型的影响，提高模型的预测准确性。
机器学习——弹性网估计
weixin_46649908的博客
05-11 2043
机器学习——弹性网估计
python机器学习 多项式回归模型正则化（拉索，岭，弹性网）
Big_SHOe的博客
11-07 2727
多项式回归模型正则化（拉索，岭，弹性网络） 目录多项式回归模型正则化（拉索，岭，弹性网络）一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入
机器学习_过拟合解决方法
weixin_43916755的博客
10-19 560
**过拟合：**如果模型在训练集上好，在测试集上不好，那么就会出现过拟合。多项式扩展的时候，如果指定的阶数比较大，那么可能存在过拟合。从线性回归中讲，我们认为训练出来的模型参数越大，就表示越存在过拟合的情况。 ...
小福利，带你快速了解岭回归与Lasso回归
littlespider889的博客
09-30 606
大家好，我是天空之城，今天给大家带来小福利，带你快速了解岭回归与Lasso回归 学习目标 理解岭回归与Lasso回归的系数求解过程 理解Lasso回归如何实现变量选择 掌握岭回归与Lasso回归的实操 ...
参数调优开发总结--问题1--L1、L2正则化转化为弹性网参数和正则化参数
挖掘+算法
02-15 1568
Spark中的逻辑回归算法中有两个参数，regParam正则化参数和elasticNetParam弹性网参数，通过设置这两个参数，可以间接确定算法中的L1和L2参数。 反推公式 公式比较简单，可以从源码中看到，如下 val regParamL1 = $(elasticNetParam) * $(regParam) val regParamL2 = (1.0 - $(elasticNetPara...
机器学习：模型泛化（L1、L2 和弹性网络）
ab1213456的博客
07-13 833
一、岭回归和 LASSO 回归的推导过程 1）岭回归和LASSO回归都是解决模型训练过程中的过拟合问题 具体操作：在原始的损失函数后添加正则项，来尽量的减小模型学习到的θ 的大小，使得模型的泛化能力更强； 　2）比较 Ridge 和 LASSO 名词 Ridge、LASSO：衡量模型正则化； MSE、MAE：衡量回归结果...
在进行多项式回归分析时，用python分别实现L1正则调优和L2正则调优
06-14
好的，针对您的问题，我可以给出以下的Python代码实现： L1正则调优： ```python from sklearn.linear_model import Lasso from sklearn.preprocessing import PolynomialFeatures from sklearn.pipeline import make_pipeline from sklearn.model_selection import GridSearchCV import numpy as np # 构造数据 x = np.array([0.0, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0, 7.0, 8.0, 9.0]) y = np.array([0.1, 0.9, 2.8, 6.5, 12.4, 20.5, 30.8, 43.3, 58.0, 74.9]) # 构造管道 model = make_pipeline(PolynomialFeatures(degree=9), Lasso()) # 构造参数选项 param_grid = {'lasso__alpha': np.logspace(-5, 1, 50)} # 执行交叉验证调优 grid = GridSearchCV(model, param_grid, cv=5, iid=False) grid.fit(x[:, np.newaxis], y) # 输出结果 print("最优参数:", grid.best_params_) print("最优得分:", grid.best_score_) ``` L2正则调优： ```python from sklearn.linear_model import Ridge from sklearn.preprocessing import PolynomialFeatures from sklearn.pipeline import make_pipeline from sklearn.model_selection import GridSearchCV import numpy as np # 构造数据 x = np.array([0.0, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0, 7.0, 8.0, 9.0]) y = np.array([0.1, 0.9, 2.8, 6.5, 12.4, 20.5, 30.8, 43.3, 58.0, 74.9]) # 构造管道 model = make_pipeline(PolynomialFeatures(degree=9), Ridge()) # 构造参数选项 param_grid = {'ridge__alpha': np.logspace(-5, 1, 50)} # 执行交叉验证调优 grid = GridSearchCV(model, param_grid, cv=5, iid=False) grid.fit(x[:, np.newaxis], y) # 输出结果 print("最优参数:", grid.best_params_) print("最优得分:", grid.best_score_) ``` 以上就是 L1正则调优 和 L2正则调优 的Python代码实现，希望能够帮助到您。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值