python和机器学习 第八章 多项式回归与模型泛化（五）偏差方差平衡；模型正则化之岭回归、LASSO

最新推荐文章于 2023-08-02 16:45:01 发布
最新推荐文章于 2023-08-02 16:45:01 发布
阅读量629 收藏 1
点赞数
分类专栏： python与机器学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Dear_leslie/article/details/96282173
版权
本文探讨了模型误差的组成，包括偏差、方差和不可避免的误差，并提出了降低模型复杂度、减少维度、增加样本数量和使用验证集等解决高方差的方法。重点讲解了模型正则化的概念，通过限制参数大小来减少方差。介绍了岭回归，其通过调整alpha值控制模型复杂度，但计算量较大且不具备特征选择功能。接着讨论了LASSO，它能促使部分参数变为0，适用于特征选择。最后提到了弹性网络，它是岭回归和LASSO的结合，可通过调整比例r实现不同正则化效果。
摘要由CSDN通过智能技术生成

模型误差 = 偏差(Bias) + 方差(Variance) + 不可避免地误差

方差 偏差
数据的一点点扰动都会较大地影响模型 –
导致原因：使用的模型过于复杂 导致原因：对问题本身的假设不正确
如：使用高阶多项式回归 如：非线性数据使用线性回归
过拟合 欠拟合
非参数学习通常都是高方差算法。如：KNN 参数学习通常都是高偏差算法。如：线性回归

解决高方差的通常手段：

  1. 降低模型复杂度
  2. 减少数据维度；降噪
  3. 增加样本数量
  4. 使用验证集
  5. 模型正则化

模型正则化

限制参数（系数）的大小
经过正则化后，得到的模型的方差会大大减小

  1. 岭回归
    在这里插入图片描述

1、为了防止过拟合，加入theta
2、alpha取不同的值，可以控制theta在函数J中所占的比例
3、alpha越大，曲线越平滑
4、 岭回归不具有特征选择的能力，计算量会比较大

In [138]: from sklearn.linear_model import Ridge
     ...: 
     ...: def RidgeRegression(degree,alpha):
     ...:     return Pipeline([
     .
最低0.47元/天 解锁文章
把小兔打哭
关注
专栏目录
机器学习--方差（Variance）与偏差（Bias）的平衡及正则化岭回归
SOARING
06-18 2667
首先理解一下什么是方差和偏差：类比到打靶，低方差就是每次打靶的点都比较集中在某部分，低偏差就是每次打靶都离目标较远。方差就是描述的离散程度，偏差描述的命中程度。 模型的误差：偏差+方差+不可避免的误差（数据本身的噪音） 偏差+方差和算法模型关系密切。导致偏差：如非线性数据使用线性回归，即欠拟合。导致方差：数据的扰动对模型影响很大，即模型学习过多的噪音数据。 kNN 天生高方差，非参...
岭回归
qq_32733847的博客
09-27 3811
岭回归 线性回归模型的参数估计公式 得到B的前提是矩阵 可逆。 出现自变量个数多余样本量或者自变量间存在多重共线性，无法根据公式计算回归系数的估计值B。 #行列式等于或近似为0，逆矩阵趋于无穷大，回归系数也放大。 1.参数求解 在线性回归模型的目标函树上添加l2正则项（惩罚项） 其中\lambda为非负数，当\lambda=0时，该目标函数就退化为线性回归模型的目标函数，当\lambda趋于正无...
机器学习实战：Python基于Ridge岭回归进行正则化（十三）
Senoh的博客
07-18 1748
岭回归（）是一种常用的线性回归方法，用于处理具有共线性（）问题的数据集。在普通最小二乘线性回归中，如果自变量之间存在高度相关性，会导致估计的回归系数不稳定，甚至无法准确估计。岭回归通过引入一个正则化项来解决这个问题。岭回归的关键思想是在最小二乘目标函数中添加一个L2正则化项，该项对回归系数进行惩罚。这个正则化项是通过对回归系数的平方和进行惩罚，乘以一个调节参数alpha。当alpha为0时，岭回归等效于普通最小二乘回归；而当alpha趋近于无穷大时，回归系数趋近于0。因此，岭回归通过控制alpha。
Python机器学习：多项式回归与模型泛化008模型泛化与岭回归
持之以恒
12-14 208
岭回归 数据 #数据 import numpy as np import matplotlib.pyplot as plt np.random.seed(42) x = np.random.uniform(-3,3,size=100) #在最新版本的sklearn中，所有的数据都应该是二维矩阵，哪怕它只是单独一行或一列。 X = x.reshape(-1,1) y = 0.5 * x + 3 +np.random.normal(0,1,size=100) plt.scatter(x,y)#非线性关系 #使
第八章 变量选择与正则化 – 岭回归分析
12-22
岭回归分析0 载入库1 数据预处理2 普通线性回归和岭回归2.1 最小二乘法，参数估计2.2 岭回归，参数估计，固定岭参数2.3 岭回归，按 CV 标准自动选择岭参数2.4 列举岭参数的值，计算回归参数，画出岭迹图，计算 VIF 0 载入库 载入 sklearn 模块中的线性回归与岭回归的函数 import numpy as np import matplotlib.pyplot as plt import pandas as pd np.set_printoptions(suppress=True) #不用科学计数法输出 from sklearn.linear_model import Li
多项式回归，模型泛化， 学习曲线， 偏差方差权衡， 模型正则化， 岭回归
无境
11-26 445
多项式回归还是在线性回归的基础上进行，是对数据进行升维，然后进行线性回归处理 import numpy as np import matplotlib.pyplot as plt x = np.random.uniform(-3,3,size=100) X = x.reshape(-1,1) X.shape y = 0.5 * x**2 +x +2 +np.random.normal(0,...
解决高方差问题及模型正则化(岭回归和LASSO回归)
weixin_43559498的博客
01-06 1803
一、解决高方差的通常手段： 1.降低模型复杂度 2.减少数据维度；降噪 3.增加样本数（模型太过复杂，模型中的参数非常多，而样本数不足以支撑计算出这么复杂的参数） 4.使用验证集 5.模型正则化 二、模型正则化 (1)什么事模型正则化？ 我们之前使用多项式回归(n=100)过拟合一个样本的例子，可以看到这条模型曲线非常的弯曲，而且非常的陡峭，可以想象这条曲线的一些θ系数会非常的大。 模型正则化需要做的事情就是限制这些系数的大小。 (2)模型正则化基本原理： 一些需要注意的细节： 对于θ的求和i是从1到n,
多项式回归 与 模型泛化
石中路的博客
04-15 567
什么是多项式回归 多项式回归思路与多元线性回归相似，只是为原来的数据样本添加新的特征，而新的特征是原有特征的多项式组合。 scikit-learn中的多项式回归与pipeline ...
偏差-方差平衡(bias-variance tradeoff)
weixin_46866349的博客
10-28 751
随着训练程度的增长，模型的表达能力逐渐提高，那么偏差就会逐渐减小，同时模型的不稳定性逐渐提高，那么方差就会逐渐增大，此时泛化误差曲线可能呈碗状曲线
偏差-方差均衡（Bias-Variance Tradeoff）
weixin_34163553的博客
03-28 539
众所周知，对于线性回归，我们把目标方程式写成：。 （其中，f(x)是自变量x和因变量y之间的关系方程式，表示由噪音造成的误差项，这个误差是无法消除的） 对y的估计写成：。 就是对自变量和因变量之间的关系进行的估计。一般来说，我们无从得之自变量和因变量之间的真实关系f(x)。假设为了模拟的缘故，我们设置了它们之间的关系（这样我们就知道了它们之间的真实关系），但即便如此，由于有这个i...
从头开始进行岭回归正则化
weixin_26720761的博客
09-05 445
For a machine learning model to be effective, it must strike a balance between bias and variance. Ridge Regression Regularization aims to decrease the variance, by compromising the bias. 为了使机器学习模型有效，它...
模型正则化在多项式回归中的运用：Ridge回归（岭回归）、LASSO回归、弹性网络回归的原理及python代码实现
最新发布
weixin_71894495的博客
08-02 2368
本文讲解了模型正则化的原理，以及在多项式回归中的应用，通过未经过正则化的多项式回归与三种不同形式的正则化回归模型(Ridge回归（岭回归）、LASSO回归、弹性网络回归)做对比，实验证明，正则化回归后的模型能够更好的抑制过拟合问题，并在测试数据集中有更好的表现。
python复现吴恩达机器学习线性回归作业中的三维图
YANHUA的博客
03-08 1521
刚开始学习ML和python，复现一个三维图也用了相当几个小时，在已获取到的一维下降序列和三维图需输入的二维数据之间迷惑了一下 ，最后还是参考作业的思路使用嵌套循环获取二维数据。等到熟悉python之后或许有更优雅的方法来实现。 参考文章（表面图）：https://www.cnblogs.com/xingshansi/p/6777945.html 作业中应实现的效果 代码 from mpl_toolkits.mplot3d import Axes3D import matplotlib.pyplo
L2正则化的线性模型——岭回归
执的博客
09-09 1922
1.岭回归的介绍： 岭回归也是回归分析中常用的线性模型，它实际上是一种改良的最小二乘法。 2.岭回归的原理： 岭回归实际上是一种能够避免过拟合的线性模型。在岭回归中，模型会保留所有的特征变了，但是会减小特征变量的系数值，让特征变量对预测结果的影响变小，在岭回归中是通过改变其alpha参数来控制减小特征变量系数的程度。而这种通过保留全部特征变量，只是降低特征变量的系数值来避免过拟合的方法，我们称之为L2正则化。 3.岭回归的实战： from sklearn.datasets import load_d
L1正则化的线性模型——套索回归
执的博客
09-09 2386
1.套索回归的原理： 和岭回归一样，套索回归也会将系数限制在非常接近0的范围内，但是它限制的方式稍微有些不同，我们称之为L1正则化。与L2正则化不同的是，L1正则化会导致在使用套索回归的时候，有一部分特征的系数会正好等于0.也就是说，有一部分特征会彻底被模型忽略掉，这也可以看成是模型对特征进行自动选择的一种方式。把一部分系数变成0有助于让模型更容易理解，而且可以突出体现模型中最重要的那些特征。 2.套索回归实战： import numpy as np from sklearn.datasets import
通俗易懂且全面的L2正则化（岭回归）解析
医学成像技术和深度学习
04-19 8593
从多角度分析为什么正则项能够帮助防止过拟合，从而从更深层理解L2正则化（岭回归）
机器学习实战-43: 多项式回归算法(Polynomial Regression)
热门推荐
智能多媒体
10-02 1万+
机器学习之多项式回归算法(Polynomial Regression).很多场合线性模型无法很好的拟合目标数据曲线，这就需要引入非线性回归模型。对于非线性回归存在多种策略，第一种策略是将非线性回归转化成线性回归；第二种策略是将非线性回归转化成多项式回归。多项式回归中，加入了特征的更高次方(例如平方项或立方项)，也相当于增加了模型的自由度，用来捕获数据中非线性的变化。
机器学习笔记：岭回归（L2正则化）
qq_40206371的博客
08-29 1651
L2正则化的目的就是要让权重衰减到更小的值，在一定程度上减少过拟合的问题。 L2正则化可以使参数趋近于0，函数更加平滑 L2正则化的求解过程 半正定矩阵加上对角矩阵λI一定是可逆的，可以解决可能不可逆带来的问题。 ...
学习笔记之多项式回归和Pipeline及偏差和方差
sun91019718的博客
04-03 908
今天我们简单谈下，多项式回归和Pipeline的应用。 之前我们了解了线性回归，线性回归的假设条件是：数据存在线性关系。并不是所有的数据具有线性关系。我们想要使用回归，可以对特征进行升维处理，转化成多项式回归。 一、多项式回归 研究一个因变量与一个或多个自变量间多项式的回归分析方法，称为多项式回归（Polynomial Regression）。多项式回归是线性回归模型的一种，其回归函数关于回归系数...
机器学习面试攻略：线性回归详解与正则化方法
在机器学习与深度学习面试系列的第四集中，主要探讨了线性回归的基本概念及其在实际应用中的重要性。线性回归是一种统计学方法，用于建立输入变量（自变量）与目标变量（因变量）之间的一次函数关系，它在预测任务中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值