各种norm的理解

最新推荐文章于 2024-10-15 10:32:29 发布
最新推荐文章于 2024-10-15 10:32:29 发布
阅读量6k 收藏 2
点赞数
分类专栏： 数学积累
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/seamanj/article/details/53469077
版权

0-norm 非零元素的个数


应用,比如要想找出不重叠的数据, 那么表示数据的向量应该尽量正交, 而正交呢就是向量相乘应该为0, 也就是让非零元素的个数尽量少, 所以可以min 0-norm去设计优化函数, 0-norm一般不能解,通常会用1-norm去解


1-norm是元素绝对值相加, 以二维来讲


所以优化的时候会优化到棱形的四个点上, 所以1-norm的优化结果就是大的有值,  小的没值, 


应用: 找出数据中的突变的数据


2-norm的图像是个圆



所以它优化的结果就是使点落在圆上, 当然圆上每个点的概率会一样,所以它的结果就会使元素上都有值, 使元素平滑, 就像热传导方程一样


而1norm就是使曲线变尖, 在值大的地方突出, 在值小的地方为0



对于Mesh来说, 每个点就是一维, 允许点上有大值存在, 就是假设它是outliers


核范数*

核范数的结果就是矩阵的秩, 


应用:矩阵补全,为了使矩阵空间之间的列之间更有关联性,就要使矩阵的秩尽量减小, 那么这个时候就需要他的秩尽量减小,这时就可以minimize矩阵的秩



2,1-norm


2,1-norm ,对于矩阵, 先每列列内平滑, 然后列间找出突出值

应用: 用在视频中的找出场景切换


1.2-norm , 相反先找出每列的突出值, 然后在列间平滑


2-norm称为lasso

2,1-norm称为group lasso

1,2-norm 称为exclusive group lasso







9月23日笔记 2-norm[2范数]
求津问道的博客
09-23 4496
Noun two-norm (plural two-norms) Mathematical measure of length given by "the square root of the squares." Denoted by {\displaystyle ||\cdot ||_{2}}, the two-norm of a vector {\displaystyle
机器学习中的范数规则化之（一）L0、L1与L2范数
modabobo
05-04 8269
机器学习中的范数规则化之（一）L0、L1与L2范数 zouxy09@qq.com http://blog.csdn.net/zouxy09 今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。知识有限，以下都是我一些浅显的看法...
详解常用的Batch Norm、Group Norm，Layer norm、Instance Norm
lovep1的博客
03-15 1万+
本文主要分析各种norm化方法，包括batch norm， group norm， instance norm，等，用的最多的肯定是batch norm，后续凯明何大佬又提出了gropu norm，但是其实在cv里面还没有真正的普及，尤其是在工业界部署上面，用的最多的还是batch norm，尤其是前两年大量paper提出基于BN层的模型剪枝方法、基于BN的融合卷积计算方法等（本文不提及，后续文章有需要会单独分析此类论文）后，batch-norm凸显的更加重要了，本文将不按照论文结构解析。 1、batch
【推荐算法】Norm相关总结（batch norm、layer norm、instance norm、group norm、weighted norm、Cos norm）
roguesir的博客
03-22 1675
深度学习中各种norm方法介绍
BN LN IN GN区别 各种norm区别以及详细介绍
qq_38376205的博客
10-14 1839
https://blog.csdn.net/shanglianlm/article/details/85075706
深度学习基础--正则化与norm--L1范数与L2范数的联系
wydbyxr的博客
11-20 1785
L1范数与L2范数的联系   最小化误差的L2范数等价于对高斯噪声的MLE。   最小化误差的L1范数等价于对拉普拉斯噪声的MLE。
机器学习中的正则化
qq_36201400的博客
09-12 2932
正则化（Regularization） 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1​-norm和ℓ2​-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。 L0范数是指向量中非0的元素的个数。 L1范数是指向量中各...
机器学习中正则化项L1和L2的直观理解
mingyuli的博客
07-22 1046
正则化（Regularization） 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1-norm和ℓ2-norm，中文称作L1正则化 和L2正则化，或者L1范数 和L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L2正则...
范数概念
cx_12586的博客
06-09 4596
一、向量范数 1 范数-Norm- the concept 向量的范数可以简单形象的理解为向量的长度，或者向量到零点的距离，或者相应的两个点之间的距离。 向量的范数定义：向量的范数是一个函数||x||, 满足:     非负性||x|| >= 0，齐次性||cx|| = |c| ||x|| ，三角不等式||x+y|| 常用的向量的范数： L1范数:  ||
Norm范数
Hekena的博客
07-22 397
解决一个问题》常用的L2正则化是什么？L0范数为神魔是NP-hard问题？L0范式是什么?
正则化理解
zj15939317693的博客
07-12 1418
转载：https://blog.csdn.net/u012162613/article/details/44261657本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习/深度学习算法中常用的正则化方法。（本文会不断补充）正则化方法：防止过拟合，提高泛化能力在训练数据不够多时，或者overtraining时，常常会导致overfittin...
最优化方法：L1和L2正则化regularization
摩登都市天空---专栏
08-21 1万+
1. 正则化（Regularization） 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作 ℓ1-norm和ℓ2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L...
秒懂范数Norm
qq_45934590的博客
10-15 3481
范数（Norm）是数学中用于度量向量或矩阵大小的一种函数，通常用于描述一个向量或矩阵的“长度”或“大小”。
深度学习中L2 norm的使用
第二剑~的博客
07-02 4400
L2 norm其实是一个比较朴素的应用比较广泛的正则化算法，从过去的传统算法到现在的深度学习，从数据预处理到模型优化，都或多或少的会用到这个思想。其算法的过程也比较简单： 1.求出当前层数据的平方 2.求出当前层数据的平方和 3.将第一步得到的数据除以第二步得到的数据 这样一个简单的过程，会有什么作用呢？首先，经过L2 norm的数据都处于0到1之间。其次，经过L2 norm的数据之间的差异...
matlab之norm函数
风翼冰舟的博客
12-04 3万+
matlab之norm计算范数
l0-Norm, l1-Norm, l2-Norm, … , l-infinity Norm
Wenfei Wang的专栏
01-23 3982
I’m working on things related to norm a lot lately and it is time to talk about it. In this post we are going to discuss about a whole family of norm. What is a norm? Mathematically a norm is a tota
matlab中norm函数的用法
热门推荐
恰同学少年的博客
06-25 22万+
格式：n=norm(A,p) 功能：norm函数可计算几种不同类型的矩阵范数,根据p的不同可得到不同的范数 1、如果A为矩阵   n=norm(A) 《Simulink与信号处理》 返回A的最大奇异值，即max(svd(A)) n=norm(A,p) 根据p的不同，返回不同的值    p  返回值   1  返回A中最大一列和，即max(sum(ab
范数（norm） 几种范数的简单介绍
起飞的木木的博客
04-03 3773
https://blog.csdn.net/a493823882/article/details/80569888 np.linalg.norm(value)
MATLAB 中NORM运用
liming0931的专栏
10-19 3236
原文地址：中NORM运用" href="http://blog.sina.com.cn/s/blog_7d36d1910100wh4x.html" target="_blank">MATLAB 中NORM运用作者：清风  http://blog.sina.com.cn/s/blog_7d36d1910100wh4x.html 格式：n=norm(A,p) 功能：norm函数可计算几种不
Euclidean norm
最新发布
02-20
<think>好的，用户让我介绍一下欧几里得范数（Euclidean norm）。首先，我需要回忆一下欧几里得范数的基本概念。欧几里得范数应该就是向量空间中常见的向量长度，也就是L2范数，对吧？比如二维或三维空间中向量的长度，就是欧几里得范数的典型例子。 用户之前问过Kronecker积，现在接着问欧几里得范数，可能是对线性代数中的基本概念感兴趣，或者是在学习相关课程，需要这些基础知识的讲解。我需要确保回答准确且易于理解，特别是用户可能刚接触这个概念，所以需要从定义、公式、性质、应用等方面展开，并给出例子。 首先，定义部分：欧几里得范数定义为向量各元素平方和的平方根。数学表达式是||v||₂ = √(v₁² + v₂² + ... + vₙ²)。这个部分需要解释清楚，可能还要提到它和几何中向量长度的关系，这样用户能联想到实际意义。 接下来是性质，比如非负性、齐次性、三角不等式等。这些都是范数的基本性质，但需要具体到欧几里得范数，比如齐次性中，标量乘以向量的范数等于标量绝对值乘以原范数，这里要注意绝对值，可能容易忽略。另外，三角不等式对应向量加法的长度不超过各自长度之和，可以举例子说明。 应用方面，欧几里得范数在机器学习、优化问题、几何距离计算中都有广泛应用。比如K-means聚类中使用欧氏距离，最小二乘法中的损失函数就是基于欧几里得范数的平方。这部分需要结合实际应用场景，让用户理解其重要性。 可能还需要比较一下其他范数，比如L1范数（曼哈顿距离）、L∞范数（最大值范数），帮助用户区分不同范数的使用场景。例如，L1对异常值更鲁棒，而L2在优化中更平滑，便于求导等。 然后，给出一个具体的计算例子，比如二维或三维向量的计算过程，这样用户能直观看到如何应用公式。例如，向量v = (3, 4)，其欧几里得范数是5，符合勾股定理，这样用户容易记住。 另外，可能需要提到欧几里得空间的概念，这是由欧几里得范数定义的内积空间，内积和范数之间的关系，比如内积的平方根就是范数。这可以扩展用户的理解，尤其是如果他们学过内积的话。 在数学符号方面，确保使用正确的LaTeX格式，比如向量用粗体或者箭头表示，范数用双竖线。同时，避免使用过于复杂的术语，保持解释的简洁性。 还要考虑用户可能的疑问点，例如为什么平方后再开根号？可能是为了消除负号的影响，同时保持距离的度量是平滑的。或者为什么欧几里得范数在优化中常用？因为它的可导性较好，方便使用梯度下降等方法。 最后，可能需要给出代码示例，比如用Python的NumPy库计算欧几里得范数，这样用户可以在实际编程中应用。同时指出常见的函数，比如numpy.linalg.norm，并说明参数ord=2对应欧几里得范数。 总结一下，回答的结构应该是：定义、公式、性质、应用、与其他范数的比较、例子、代码实现，以及可能的常见问题解答。确保逻辑清晰，层次分明，帮助用户全面理解欧几里得范数的各个方面。</think>**欧几里得范数（Euclidean Norm）** 是向量空间中最常用的范数之一，用于衡量向量的“长度”或“大小”。它源于欧几里得几何中的距离概念，广泛应用于机器学习、优化问题、物理学和工程学等领域。 --- ### **1. 定义** 对于 \( n \) 维向量 \( \mathbf{v} = (v_1, v_2, \dots, v_n) \)，其欧几里得范数（L2 范数）定义为： \[ \|\mathbf{v}\|_2 = \sqrt{v_1^2 + v_2^2 + \cdots + v_n^2} \] 即向量各分量平方和的平方根。 --- ### **2. 几何意义** - **直观解释**：在二维或三维空间中，欧几里得范数对应向量的几何长度。例如： - 二维向量 \( \mathbf{v} = (3, 4) \) 的欧几里得范数为： \[ \|\mathbf{v}\|_2 = \sqrt{3^2 + 4^2} = 5 \] 这正是勾股定理的结果。 - 三维空间中点到原点的距离也通过此公式计算。 --- ### **3. 核心性质** 1. **非负性** \[ \|\mathbf{v}\|_2 \ge 0，且 \|\mathbf{v}\|_2 = 0 \iff \mathbf{v} = \mathbf{0} \] 2. **齐次性（标量乘法的线性性）** \[ \|c \mathbf{v}\|_2 = |c| \cdot \|\mathbf{v}\|_2 \quad (c \text{ 为标量}) \] 3. **三角不等式** \[ \|\mathbf{u} + \mathbf{v}\|_2 \le \|\mathbf{u}\|_2 + \|\mathbf{v}\|_2 \] 4. **与内积的关系** 在欧几里得空间中，范数可通过内积定义： \[ \|\mathbf{v}\|_2 = \sqrt{\mathbf{v} \cdot \mathbf{v}} \] --- ### **4. 典型应用场景** #### **(1) 机器学习与数据科学** - **距离度量**：K-近邻算法（KNN）、K-means 聚类等使用欧氏距离（即两向量差的 L2 范数）衡量样本相似性。 - **正则化（L2 正则化）**：在损失函数中加入权重的 L2 范数惩罚项，防止过拟合（如岭回归）。 #### **(2) 优化问题** - **最小二乘法**：求解线性方程组 \( A\mathbf{x} = \mathbf{b} \) 时，最小化残差的欧几里得范数： \[ \min_{\mathbf{x}} \|A\mathbf{x} - \mathbf{b}\|_2^2 \] #### **(3) 几何与物理学** - **向量长度与能量**：在物理学中，欧几里得范数可表示物体的位移、速度向量的模长或系统的能量。 #### **(4) 归一化处理** - **单位向量化**：将向量除以其欧几里得范数，得到方向单位向量： \[ \hat{\mathbf{v}} = \frac{\mathbf{v}}{\|\mathbf{v}\|_2} \] --- ### **5. 与其他范数的对比** | **范数类型** | **定义** | **特点** | **典型用途** | |--------|------------------------------|--------------------------| | **L1 范数** | \(\|\mathbf{v}\|_1 = \sum_{i=1}^n |v_i|\) | 稀疏性约束（如特征选择） | LASSO 回归、压缩感知 | | **L2 范数** | \(\|\mathbf{v}\|_2 = \sqrt{\sum_{i=1}^n v_i^2}\) | 平滑性、可导性 | 正则化、几何距离 | | **L∞ 范数** | \(\|\mathbf{v}\|_\infty = \max_i |v_i|\) | 关注最大偏差 | 控制最坏情况误差 | --- ### **6. 计算示例** 以向量 \( \mathbf{v} = (1, -2, 2) \) 为例： \[ \|\mathbf{v}\|_2 = \sqrt{1^2 + (-2)^2 + 2^2} = \sqrt{1 + 4 + 4} = \sqrt{9} = 3 \] --- ### **7. 代码实现** - **Python（NumPy）**： ```python import numpy as np v = np.array([1, -2, 2]) norm = np.linalg.norm(v, ord=2) # ord=2 表示 L2 范数 print(norm) # 输出 3.0 ``` - **MATLAB**： ```matlab v = [1, -2, 2]; norm = norm(v, 2); % 输出 3 ``` --- ### **8. 数学扩展** - **矩阵的 Frobenius 范数**：可视为将矩阵展开为向量后的欧几里得范数： \[ \|A\|_F = \sqrt{\sum_{i=1}^m \sum_{j=1}^n |a_{ij}|^2} \] 用于衡量矩阵的整体“大小”。 --- ### **总结** 欧几里得范数是向量空间中最自然的长度度量，其平滑性和可导性使其成为优化问题与机器学习的核心工具。理解 L2 范数及其与其他范数的区别，有助于在实际问题中选择合适的度量或正则化方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值