机器学习中L1正则化和L2正则化

已于 2022-04-13 13:49:23 修改
阅读量1w 收藏 1
点赞数 1
分类专栏： 人工智能 文章标签： 深度学习 人工智能 机器学习
于 2022-04-12 00:45:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41318914/article/details/124113221
版权

深度学习中的归一化(normalization)和正则化(regularization)_qq_26697045的博客-CSDN博客_权重归一化

1.L1和L2的区别

在机器学习中：

 - L1 regularization 是指向量中各个元素绝对值之和，通常表述为\left \| Wi \right \|_{1},线性回归中使用L1正则的模型也叫Lasso regularization
 - L2 regularization 指权值向量w中各个元素的平方和然后再求平方根（可以看到Ridge回归的L2正则化项有平方符号），通常表示为\left ( \left \| Wi \right \|_{2} \right )^{2}，线性回归中使用L2正则的模型又叫岭回归(Ringe regularization)。

也就是：

  • L1范数: 为x向量各个元素绝对值之和。
  • L2范数: 为x向量各个元素平方和的1/2次方，L2范数又称Euclidean范数或者Frobenius范数
  • Lp范数: 为x向量各个元素绝对值p次方和的1/p次方.

下图为p从无穷到0变化时，三维空间中到原点的距离（范数）为1的点构成的图形的变化情况。以常见的L-2范数（p=2）为例，此时的范数也即欧氏距离，空间中到原点的欧氏距离为1的点构成了一个球面

在这里插入图片描述

2.参数正则化作用

  • L1： 为模型加入先验， 简化模型， 使权值稀疏，由于权值的稀疏，从而过滤掉一些无用特征，防止过拟合
  • L2： 根据L2的特性，它会使得权值减小，即使平滑权值，一定程度上也能和L1一样起到简化模型，加速训练的作用，同时可防止模型过拟合

3.深度学习中的正则化

我们所谓的正则化，就是在原来 Loss Function 的基础上，加了一些正则化项，或者叫做模型复杂度惩罚项。以我们的线性回归为例子。

上图中的黄色圆点为我们训练的数据，使用黄色曲线可以很好的拟合这些点，但是会形成过拟合。相对来说，蓝色的实线才更符合实际。

具体的运算可以从以下三方面来看：

 从梯度角度来看，L1使得某些W的值变为0，从而满足了前面的例子，把X^{^{2}}和X^{3}前的系数变成了0，从而防止过拟合。

更据上面三种方式的推到可以得出：L1会使得权重稀疏，而L2会使得权值平滑

猿代码_xiao
关注
专栏目录
机器学习中L1正则化和L2正则化是什么？区别是什么？
data+scenario+science+insight
08-04 976
机器学习中L1正则化和L2正则化是什么？区别是什么？ 我们所说的正则化，就是在原来的loss function的基础上，加上了一些正则化项或者称为模型复杂度惩罚项。 结构风险最小化： 在经验风险最小化的基础上（也就是训练误差最小化），尽可能采用简单的模型，以此提高泛化预测精度。 L1和L2加入后的函数图像： L0范数 是指正则化项是参数矩阵W中非0元素的个数，也就是说希望W的大部分元素都是0，W是稀疏的。 由于L0正则项非连续非凸不可求导，难以找到有效解，转而使用L..
机器学习稀疏之L1正则化
MyProgramingLife的专栏
01-22 7681
一、L1正则化 在L0 正则化中，通常我们有很多特征时， 这样在计算后验形式p(r|D) 有很大的复杂度。即使利用贪心算法，很容易陷入局部拟合情况。 其中一部分原因是因为 rj 特征是离散形式的， 这样造成目标函数的不光滑， 。 在优化领域中，通常的做法是对于离散的约束，我们通过松弛的方法来将其变为连续的约束。 我们可以在spike-and-slab 尖峰与平波模型中，通过在wj =0，
机器学习中 L1 和 L2 正则化
sinat_27784071的博客
11-22 356
降低过拟合的方法： 降低过拟合风险的方法 所有为了减少测试误差的策略统称为正则化方法，这些方法可能会以增大训练误差为代价。 数据增强 图像：平移、旋转、缩放 利用生成对抗网络（GAN）生成新数据 NLP：利用机器翻译生成新数据 降低模型复杂度 神经网络：减少网络层、神经元个数 决策树：降低树的深度、剪枝 ... 权值约束（添加正则化项） L1 正则化 ...
机器学习 正则化l1怎么用_机器学习 第六章：正则化(含有笔记)
weixin_30531997的博客
12-23 342
目录：一、防止过度拟合二、代价函数三、线性回归正则化四、逻辑回归正则化一、防止过度拟合过度拟合问题：例如：那个用线性回归来预测房价的例子，我们通过建立以住房面积为自变量的函数来预测房价，我们可以对该数据做线性回归，以下为三组数据做线性拟合的结果：①第一个图我们用直线去拟合，这不是一个很好的模型。我们看看这些数据，很明显，随着房子面积增大，住房价格的变化应趋于稳定，或者越往右越平缓。因此该算法没有很...
机器学习 l2正则化--岭回归
qq_46103282的博客
09-21 384
损失函数+λ惩罚项|w| （绝对值会使一些w的值直接=0，相当于删除了该特征的影响）损失函数+λ惩罚项w^2 （接近于0，削弱了特征值的影响）·SAG：如果数据集、特征都比较大，选择该随机梯度下降优化。·normalize：数据是否进行标准化（默认为False）L2正则化（更常用）：Ridge回归--岭回归。·alpha：正则化力度--L2正则化的惩罚项的系数λ。正则化力度（alpha）越大-->权重系数 ( W ) 越小。正则化力度（alpha） 越小-->权重系数（W）越大。学习到的数据的特征过少。
机器学习之L1正则化和L2正则化（附源码解析）
qq_38375203的博客
06-10 4065
今天还是机器学习的基础知识内容，也是最基础的哈。首先说一下什么是正则化，其实它就是一个减少方差的策略。那么什么是方差呢？在这里也引入一个和方差相辅相成的概念--偏差。我们通常所说的过拟合现象，也就是指的高方差，就是模型在训练集上训练的超级好，几乎全部都能拟合。 但是这种情况如果换一个数据集往往就会非常差， 正则化的思想就是在我们的目标函数中价格正则项， 即：在这里正则项有两种，分别是L1和L2，先来看一下两者的表达式： 如果加上这种正则项，就是希望我们的代价函数小，同时也希望我们这里的小，这样就说明每个样本
机器学习中正则化项L1和L2的直观理解
热门推荐
小平子的专栏
03-02 42万+
正则化（Regularization） 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1ℓ1\ell_1-norm和ℓ2ℓ2\ell_2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做...
10. 试述机器学习中L1正则化和L2正则化。
05-10
L1正则化和L2正则化是正则化技术中的两种常见方法。 L1正则化，也称为Lasso正则化，是通过向损失函数中添加权重系数绝对值的和来缩小模型参数。这个正则化惩罚会使得某些参数的值变成精确的零，因此可以用于特征...
L1正则化和L2正则化在机器学习中的详细介绍及Python代码实现
最新发布
weixin_41174300的博客
06-08 1052
L1正则化的一个重要特性是它会产生稀疏模型，即一些权重参数会被驱动为零，这对于特征选择非常有用。L2正则化的一个重要特性是它会产生平滑的模型，使得所有权重参数都尽可能小，但不会完全为零。接下来，我们将通过Python代码展示如何在实际中应用L1正则化和L2正则化。过拟合指的是模型在训练数据上表现良好，但在新数据上的表现较差。L1正则化，又称为Lasso正则化，其惩罚项是模型参数的绝对值之和。L2正则化，又称为Ridge正则化，其惩罚项是模型参数的平方和。最常见的两种正则化技术是L1正则化和L2正则化。
【机器学习】L1正则化与L2正则化的理解
u011511601的专栏
02-27 873
1. 为什么要使用正则化   我们先回顾一下房价预测的例子。以下是使用多项式回归来拟合房价预测的数据：     可以看出，左图拟合较为合适，而右图过拟合。如果想要解决右图中的过拟合问题，需要能够使得 x3，x4 的参数 θ3，θ4 尽量满足 θ3≈0，θ4≈0 。   而如何使得 θ3,θ4 尽可能接近 0 呢？那就是对参数施一惩罚项。我们先来看一下线性回归的代价函数： J(θ)=1...
L2正则化python实现案例(附代码)
02-09
L2正则化python实现案例(附代码)，含图形展示，对于正则化理解又直观帮助
机器学习中L1和L2正则化详细解释
qq_38888209的博客
02-29 946
机器学习中，如果参数过多，模型过于复杂，容易造成过拟合（overfit）。即模型在训练样本数据上表现的很好，但在实际测试样本上表现的较差，不具备良好的泛化能力。为了避免过拟合，最常用的一种方法是使用使用正则化，例如 L1 和 L2 正则化。但是，正则化项是如何得来的？其背后的数学原理是什么？L1 正则化和 L2 正则化之间有何区别？ L2正则化 L2 正则化公式非常简单，直接在原来的损失函数基础上...
【机器学习】L1和L2正则化
晓峰博客笔记
04-05 705
正则化为什么能防止过拟合？（最后看） 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作 ℓ1​-norm 和 ℓ2​-norm，中文称作 L1正则化 和 L2正则化，或者 L1范数 和 L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数（权重w）做一些限制。 L1稀疏模型与特征...
机器学习100天（二十五）：025 L2正则化的Python实现
红色石头的专栏
01-05 789
for 循环结束之后，绘制代价函数 J_history 的变化，然后，作图绘制拟合直线与原始样本的拟合程度。for 循环结束之后，绘制代价函数 J_history 的变化，然后，作图绘制拟合直线与原始样本的拟合程度。可以发现，由于使用了 L2 正则化，拟合直线消除了正弦抖动的干扰，呈现原始数据的一次线性关系。对比未使用 L2 正则化，从权重参数可以看出，使用 L2 正则化之后，高阶参数。可以发现，拟合直线受到了正弦抖动的干扰，呈现高阶特性，模型发生了过拟合。设置为 0.04，值得注意的是，
L1、L2正则化；归一化与标准化
大漠帝国的博客
03-12 4518
矩阵与numpy、sklearn操作 l1正则化 l2正则化 0-1标准化处理 0-1缩放处理 0-1归一化处理 均值归一化 sig归一化处理 Github项目地址:https://github.com/yongzhuo/Tensorflow-Examples/blob/master/Features_Project/normali...
机器学习中的范数规则化之（一）L0、L1与L2范数
bitcarmanlee的博客
07-17 5793
1.监督机器学习问题无非就是“minimizeyour error while regularizing your parameters”，也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据。多么简约的哲学啊！因为参数太多，会导致我们的模型复杂度上升，容易过拟合，也就是我们的训练误差会很小。但训练误差小并不是我们的最
2017CS231n笔记_S3损失函数和优化
KKALL1314的博客
02-14 702
目录 S3.1损失函数 S3.2优化 S3.1损失函数 背景 假设有3张图像的训练集，S2.3中使用某个W来进行对图像进行预测，得到了这三张图像分别在10个分类上的得分。得分即是模型的预测值或者输出值。 损失函数(loss function) 损失函数用于度量模型权重W的好坏。损失函数将W作为输入，然后得到一个损失值，定量的估计W的好坏。依据损失函数，就可以评估W是好是坏。使用表示样...
图像处理中的L1-normalize 和L2-normalize
a200800170331的专栏
03-21 2万+
当一幅图像用某种特征表示出来，一般要进行L1-normalize或者是L2-normalize。 假设一幅图像表示为Y=[x1 x2 x3 x4 x5], L1-normalize的结果为： L2-normalize的结果为： 通过L1或L2标准化的图像特征往往具有良好的效果，至于那个更好就需要自己试验。 假设我们提取一个图像库的特征为histograms，其中列
L2正则化（L2 Regularization）
wuzqChom的博客
02-25 6010
标签（空格分隔）： 机器学习1. L2L_2正则化项的导出正则化是机器学习中一个防止过拟合的一个重要手段通常，过拟合一个显著地表现是能够很好地拟合当前的数据，但是泛化能力不强。首先假设模型学到了多项式： H10：w00+w1x1+⋯+w10x10H_{10}：w_0^0+w_1x^1+\cdots+w_{10}x^{10} 即H10≡{w∈R10+1}H_{10}\equiv\{ w\in R^
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值