L0 Norm 、L1 Norm 和 L2 Norm 的简单理解

最新推荐文章于 2024-05-13 12:52:03 发布
最新推荐文章于 2024-05-13 12:52:03 发布
阅读量5.7k 收藏 5
点赞数
分类专栏： 深度学习知识点笔记 文章标签： L0 Norm 、L1 Norm 和 L2 Norm 的简单理解
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nanhuaibeian/article/details/103335957
版权

文章目录

一、L0 Norm

L0 范数对应于向量中非零元素的总数
例如，向量（0,0）和（0,2）的L0范数为1，因为只有一个非零元素。

L0范数的一个很好的实用示例是当具有两个向量（用户名和密码）时。
如果向量的L0范数等于0，则登录成功。否则，如果L0范数为1，则意味着用户名或密码不正确，但都不正确。最后，如果L0规范为2，则意味着用户名和密码都不正确。

二、L1 Norm

也称为 曼哈顿距离或出租车规范。
L1范数是空间中向量的大小之和。这是测量向量之间距离的最自然的方法，即向量分量的绝对差之和。
在此规范中，向量的所有分量均被加权。

例如，向量X = [3,4]：
在这里插入图片描述
L1范数的计算公式为
在这里插入图片描述
如图所示，L1范数是从起点（0,0）到目的地（3,4）之间必须经过的距离，类似于出租车在城市街区​​之间行驶的方式它的目的地。

三、L2 Norm

也称为欧几里得规范

了解本专栏 订阅专栏 解锁全文
南淮北安
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
通俗易懂的L0范数和L1范数及其Python实现
计算机视觉之光
02-19 1740
L0 范数并不是真正意义上的一个范数，因为它不满足范数的三角不等式性质，但它在数学优化和信号处理等领域有着实际的应用。L0 范数指的是向量中非零元素的个数。它通常用来度量向量的稀疏性。数学上表示为：例如，向量 (x = [1, 0, 2, 0, 3]) 的 L0 范数是 3，因为该向量中有三个非零元素。
L2Norm 的实现
言午日月
03-26 1065
L2 范数归一化（L2 Normalization）是将每个样本（向量）除以其 L2 范数，以使得每个样本的 L2 范数为 1, 这样做可以使得样本在欧几里得空间中位于单元圆上。L2范数（L2 norm），也称为欧几里德范数（Euclidean norm）或2-范数，是向量元素的平方和的平方根。而 L2 范数归一化就是将向量。
【什么是范数】L1、L2范数介绍
最新发布
王尼莫的博客
05-13 2014
范数（Norm）是数学中用于衡量向量大小(或距离)的一种概念。在几何和代数中，范数可以提供一个向量长度或大小的量度。更正式地说，范数是一个函数，它将向量的集合映射到非负实数，满足以下性质：在数学上，范数包括向量范数和矩阵范数，向量范数表征向量空间中向量的大小，矩阵范数表征矩阵引起变化的大小。一种非严密的解释就是，对应向量范数，向量空间中的向量都是有大小的，这个大小如何度量，就是用范数来度量的，不同的范数都可以来度量这个大小，就好比米和尺都可以来度量远近一样当 p=2 时，它是欧几里得范数；
什么是范数（norm）？以及L1,L2范数的简单介绍
热门推荐
爱喝舒化奶的博客
02-21 9万+
什么是范数？ 范数，是具有“距离”概念的函数。我们知道距离的定义是一个宽泛的概念，只要满足非负、自反、三角不等式就可以称之为距离。范数是一种强化了的距离概念，它在定义上比距离多了一条数乘的运算法则。有时候为了便于理解，我们可以把范数当作距离来理解。 在数学上，范数包括向量范数和矩阵范数，向量范数表征向量空间中向量的大小，矩阵范数表征矩阵引起变化的大小。一种非严密的解释就是，对应向量范数，向量空间中...
范数（norm） ：L-P，L0，L1，L2范数的简单介绍
weixin_58045467的博客
06-07 6814
我们知道距离的定义是一个宽泛的概念，只要满足非负、自反、三角不等式就可以称之为距离。范数是一种强化了的距离概念，它在定义上比距离多了一条数乘的运算法则。有时候为了便于理解，我们可以把范数当作距离来理解。在数学上，范数包括向量范数和矩阵范数，向量范数表征向量空间中向量的大小，矩阵范数表征矩阵引起变化的大小。一种非严密的解释就是，对应向量范数，向量空间中的向量都是有大小的，这个大小如何度量，就是用范数来度量的，不同的范数都可以来度量这个大小，就好比米和尺都可以来度量远近一样；
L0 Norm, L1 Norm, L2 Norm & L-Infinity Norm / 机器学习中的L1和L2正则化项
weixin_43312412的博客
07-07 891
First of all, what is a Norm? In Linear Algebra, a Norm refers to the total length of all the vectors in a space. There are different ways to measure the magnitude of vectors, here are the most common: L0 Norm: It is actually not a norm. (See the condit
深度学习正则化(L1 norm/L2 norm)以及dropout理解
NCU_wander的博客
05-19 2460
正则化知识其实是深度学习领域较为基础的知识点，初入此门的时候受限于正则化三个字的逼格，一直不求甚解；后期虽然了解但也仅限于L1和L2范数而已。恰巧上周在谢毅博士的课上旁听，讲到多拟合相关知识，后续和捷文讨论transformer内部的dropout为何还广泛使用，由此总结下正则化相关内容。 1、何为正则化 首先看百度百科的一部分解释：正则化就是对最小化经验误差函数上加约束，这样的约束可以解释为先验知识（正则化参数等价于对参数引入先验分布）。约束有引导作用，在优化误差函数的时候倾向于选择满足约束的梯度减少的方
范数规则化（一）：L0、L1与L2范数
weixin_39910711的博客
12-13 6710
目录 1 范式 2L0 范数 2L1 范数 2.1L1 2.2L1正则化和特征选择 3L2 范数 3.1L2 3.2L2正则化和过拟合 3.3L2正则化和优化计算 3.3.1 condition number 3.3.2L2正则化和condition number 4 L1与L2的差别 4.1下降速度 4.2 模型空间的限制 5无穷范数 ...
l1-norm loss & l2-norm loss （l1范数和l2范数作为正则项的比较）
兔角与禅
04-23 7936
l1-norm loss & l2-norm loss （l1范数和l2范数作为正则项的比较） l1-norm 和 l2-norm是常见的模型优化过程中的正则化项，对应到线性回归的领域分别为lasso Regression和 Ridge Regression，也就是 lasso 回归（有的地方也叫套索回归）和岭回归（也叫脊回归）。在深度学习领域也用l1和l2范数做正则化处理。这里简要介绍...
深度学习中的正则化技术--L1&L2-norm,Dropout,Max-norm
hollyprince的博客
07-15 979
规范化技术一般用于解决模型的过拟合问题，本文将深入浅出的介绍几种常见的正则化技术
什么叫L1范数，什么叫L2范数
weixin_50531046的博客
11-17 2903
在正则化中，L1范数和L2范数经常被用作正则化项的一部分，以控制模型的复杂度。L1正则化倾向于使权重稀疏（即某些权重为零），因此可以用于特征选择。L2正则化通过惩罚大的权重，有助于防止过拟合。在二维空间中，L2范数等于向量元素平方和的平方根，也可以表示为从原点到向量所在点的欧几里得距离。在二维空间中，L1范数等于向量元素的绝对值之和，也可以表示为从原点到向量所在点的曼哈顿距离。L1范数和L2范数是向量的范数（norm）的两种不同计算方式。
理解L1，L2 范数
weixin_42774642的博客
02-28 1077
链接：https://www.zhihu.com/question/26485586/answer/616029832 理解L1，L2 范数 L1，L2 范数即 L1-norm 和 L2-norm，自然，有L1、L2便也有L0、L3等等。因为在机器学习领域，L1 和 L2 范数应用比较多，比如作为正则项在回归中的使用 Lasso Regression(L1) 和 Ridge Regressi...
L-norm详解
geotiger的博客
04-23 1237
Ln-norm 详解
L1 norm和L2 norm
a120623105的专栏
09-02 1643
在论文中经常会出现L1 norm和L2 norm
深度学习中L2 norm的使用
第二剑~的博客
07-02 4165
L2 norm其实是一个比较朴素的应用比较广泛的正则化算法，从过去的传统算法到现在的深度学习，从数据预处理到模型优化，都或多或少的会用到这个思想。其算法的过程也比较简单： 1.求出当前层数据的平方 2.求出当前层数据的平方和 3.将第一步得到的数据除以第二步得到的数据 这样一个简单的过程，会有什么作用呢？首先，经过L2 norm的数据都处于0到1之间。其次，经过L2 norm的数据之间的差异...
机器学习中的范数规则化之（一）L0、L1与L2范数
modabobo
05-04 7887
机器学习中的范数规则化之（一）L0、L1与L2范数 zouxy09@qq.com http://blog.csdn.net/zouxy09 今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。知识有限，以下都是我一些浅显的看法...
l0-Norm, l1-Norm, l2-Norm, … , l-infinity Norm
Wenfei Wang的专栏
01-23 3834
I’m working on things related to norm a lot lately and it is time to talk about it. In this post we are going to discuss about a whole family of norm. What is a norm? Mathematically a norm is a tota
连续函数计算l2 norm公式
07-14
### 回答1： L2范数（Euclidean norm）是一个用来衡量向量长度的概念，可以用来计算连续函数的L2范数公式如下： 设有一个连续函数f(x)，定义在区间[a, b]上。要计算该函数的L2范数，可以按照以下步骤进行： 1. 首先将区间[a, b]分成n个子区间，每个子区间的长度为Δx = (b-a)/n。 2. 在每个子区间中选择一个点xi，其中i的取值范围是[1, n]。可以选择左端点、右端点或者中点作为xi。 3. 计算函数f(x)在每个xi处的值，即f(xi)。 4. 计算每个子区间上的函数值的平方和，即Σ[f(xi)]^2。 5. 对平方和进行累加，并将Δx也累加。最后计算累加和的平方根，即得到函数f(x)的L2范数。 数学表示为： ||f||₂ = sqrt(Σ[f(xi)]^2 * Δx) 其中，sqrt表示平方根运算。 通过这样的计算，我们可以得到函数f(x)在区间[a, b]上的L2范数。这个结果可以用来衡量函数在该区间上的振幅大小。 需要注意的是，计算L2范数时，选择的子区间数n越大，计算结果越准确。通过增加n的值，可以提高计算结果的精度。同时，在选择xi的过程中，根据实际情况选择适当的方法，例如使用等距离取点法或者高斯取点法等。 ### 回答2： L2 范数，也被称为欧几里得范数，是向量空间中的一个重要概念。在连续函数中，计算 L2 范数的公式如下： 对于一个定义在闭区间 [a, b] 上的连续函数 f(x)，其 L2 范数表示为： ||f(x)||₂ = (∫[a, b] |f(x)|² dx)^(1/2) 其中 ∫ 表示积分运算，[a, b] 表示积分的区间范围。|f(x)| 表示 f(x) 的绝对值。 计算 L2 范数的方法是，首先计算 f(x) 的平方，然后对其进行积分，最后取积分结果的平方根。这样可以保证范数为非负数。 例如，如果我们要计算在区间 [0, 1] 上的连续函数 f(x) = x² 的 L2 范数，可以进行如下计算： ||f(x)||₂ = (∫[0, 1] |x²|² dx)^(1/2) = (∫[0, 1] x^4 dx)^(1/2) = (∫[0, 1] x^4 dx)^(1/2) = (∫[0, 1] x^4 dx)^(1/2) = (1/5)^(1/2) = 1/√5 因此，函数 f(x) = x² 在区间 [0, 1] 上的 L2 范数为 1/√5。 总结起来，连续函数的 L2 范数计算公式是对函数的绝对值进行平方积分，再取积分结果的平方根。根据具体问题和积分范围的不同，计算具体的 L2 范数值。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

南淮北安

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值