各种norm的理解

最新推荐文章于 2024-10-15 10:32:29 发布
最新推荐文章于 2024-10-15 10:32:29 发布
阅读量6k 收藏 2
点赞数
分类专栏： 数学积累
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/seamanj/article/details/53469077
版权

0-norm 非零元素的个数


应用,比如要想找出不重叠的数据, 那么表示数据的向量应该尽量正交, 而正交呢就是向量相乘应该为0, 也就是让非零元素的个数尽量少, 所以可以min 0-norm去设计优化函数, 0-norm一般不能解,通常会用1-norm去解


1-norm是元素绝对值相加, 以二维来讲


所以优化的时候会优化到棱形的四个点上, 所以1-norm的优化结果就是大的有值,  小的没值, 


应用: 找出数据中的突变的数据


2-norm的图像是个圆



所以它优化的结果就是使点落在圆上, 当然圆上每个点的概率会一样,所以它的结果就会使元素上都有值, 使元素平滑, 就像热传导方程一样


而1norm就是使曲线变尖, 在值大的地方突出, 在值小的地方为0



对于Mesh来说, 每个点就是一维, 允许点上有大值存在, 就是假设它是outliers


核范数*

核范数的结果就是矩阵的秩, 


应用:矩阵补全,为了使矩阵空间之间的列之间更有关联性,就要使矩阵的秩尽量减小, 那么这个时候就需要他的秩尽量减小,这时就可以minimize矩阵的秩



2,1-norm


2,1-norm ,对于矩阵, 先每列列内平滑, 然后列间找出突出值

应用: 用在视频中的找出场景切换


1.2-norm , 相反先找出每列的突出值, 然后在列间平滑


2-norm称为lasso

2,1-norm称为group lasso

1,2-norm 称为exclusive group lasso







深入理解NLP中LayerNorm的原理以及LN的代码详解
捡起一束光的博客
12-11 4万+
在NLP中，大多数情况下大家都是用LN（LayerNorm）而不是BN（BatchNorm）。最直接的原因是BN在NLP中效果很差，所以一般不用。LN是把**normalized_shape这几个轴的元素**都放在一起，取平均值和方差的，然后对每个元素进行归一化，最后再乘以对应的$\gamma$和$\beta$（**每个元素不同**）。**LN共有N1*N2个mean和var**（假设输入数据的维度为(N1,N2,normalized_shape），normalized_shape表示多个维度）......
L0 Norm 、L1 Norm 和 L2 Norm 的简单理解
南淮北安的博客
12-01 6450
文章目录一、L0 Norm二、L1 Norm三、L2 Norm 一、L0 Norm L0 范数对应于向量中非零元素的总数 例如，向量（0,0）和（0,2）的L0范数为1，因为只有一个非零元素。 L0范数的一个很好的实用示例是当具有两个向量（用户名和密码）时。 如果向量的L0范数等于0，则登录成功。否则，如果L0范数为1，则意味着用户名或密码不正确，但都不正确。最后，如果L0规范为2，则意味着用户名...
详解常用的Batch Norm、Group Norm，Layer norm、Instance Norm
热门推荐
lovep1的博客
03-15 1万+
本文主要分析各种norm化方法，包括batch norm， group norm， instance norm，等，用的最多的肯定是batch norm，后续凯明何大佬又提出了gropu norm，但是其实在cv里面还没有真正的普及，尤其是在工业界部署上面，用的最多的还是batch norm，尤其是前两年大量paper提出基于BN层的模型剪枝方法、基于BN的融合卷积计算方法等（本文不提及，后续文章有需要会单独分析此类论文）后，batch-norm凸显的更加重要了，本文将不按照论文结构解析。 1、batch
【推荐算法】Norm相关总结（batch norm、layer norm、instance norm、group norm、weighted norm、Cos norm）
roguesir的博客
03-22 1676
深度学习中各种norm方法介绍
BN LN IN GN区别 各种norm区别以及详细介绍
qq_38376205的博客
10-14 1839
https://blog.csdn.net/shanglianlm/article/details/85075706
9月23日笔记 2-norm[2范数]
求津问道的博客
09-23 4496
Noun two-norm (plural two-norms) Mathematical measure of length given by "the square root of the squares." Denoted by {\displaystyle ||\cdot ||_{2}}, the two-norm of a vector {\displaystyle
深度学习基础--正则化与norm--L1范数与L2范数的联系
wydbyxr的博客
11-20 1785
L1范数与L2范数的联系   最小化误差的L2范数等价于对高斯噪声的MLE。   最小化误差的L1范数等价于对拉普拉斯噪声的MLE。
pytorch BatchNorm LayerNorm InstanceNorm GroupNorm 通俗易懂理解
weixin_41660290的博客
02-22 1369
pytorch BatchNorm LayerNorm InstanceNorm GroupNorm 通俗易懂理解认识输入格式四种归一化的异同点调用pytorch内的函数，讲解相关参数实验理解，手动计算，结合pytorch内的函数总结：每种归一化的优缺点，以及演变历程欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如
norm-1.4b3_网络_
09-30
- **源代码**：包括C/C++编写的Norm协议实现，开发者可以通过阅读和修改这些代码来理解协议的工作原理，并根据需要进行定制。 - **文档**：可能包含协议的详细说明、API文档以及如何编译和运行的指南，帮助开发者...
PyTorch学习笔记（三）参数初始化与各种Norm层
longrootchen的博客
04-21 4621
本文记录了 PyTorch 中模型参数的初始化和四种 Norm 层的使用。
机器学习中的正则化
qq_36201400的博客
09-12 2934
正则化（Regularization） 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1​-norm和ℓ2​-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。 L0范数是指向量中非0的元素的个数。 L1范数是指向量中各...
机器学习中正则化项L1和L2的直观理解
mingyuli的博客
07-22 1047
正则化（Regularization） 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1-norm和ℓ2-norm，中文称作L1正则化 和L2正则化，或者L1范数 和L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L2正则...
范数概念
cx_12586的博客
06-09 4596
一、向量范数 1 范数-Norm- the concept 向量的范数可以简单形象的理解为向量的长度，或者向量到零点的距离，或者相应的两个点之间的距离。 向量的范数定义：向量的范数是一个函数||x||, 满足:     非负性||x|| >= 0，齐次性||cx|| = |c| ||x|| ，三角不等式||x+y|| 常用的向量的范数： L1范数:  ||
Norm范数
Hekena的博客
07-22 397
解决一个问题》常用的L2正则化是什么？L0范数为神魔是NP-hard问题？L0范式是什么?
正则化理解
zj15939317693的博客
07-12 1418
转载：https://blog.csdn.net/u012162613/article/details/44261657本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习/深度学习算法中常用的正则化方法。（本文会不断补充）正则化方法：防止过拟合，提高泛化能力在训练数据不够多时，或者overtraining时，常常会导致overfittin...
最优化方法：L1和L2正则化regularization
摩登都市天空---专栏
08-21 1万+
1. 正则化（Regularization） 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作 ℓ1-norm和ℓ2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L...
秒懂范数Norm
qq_45934590的博客
10-15 3489
范数（Norm）是数学中用于度量向量或矩阵大小的一种函数，通常用于描述一个向量或矩阵的“长度”或“大小”。
深度学习中L2 norm的使用
第二剑~的博客
07-02 4400
L2 norm其实是一个比较朴素的应用比较广泛的正则化算法，从过去的传统算法到现在的深度学习，从数据预处理到模型优化，都或多或少的会用到这个思想。其算法的过程也比较简单： 1.求出当前层数据的平方 2.求出当前层数据的平方和 3.将第一步得到的数据除以第二步得到的数据 这样一个简单的过程，会有什么作用呢？首先，经过L2 norm的数据都处于0到1之间。其次，经过L2 norm的数据之间的差异...
机器学习中的范数规则化之（一）L0、L1与L2范数
modabobo
05-04 8269
机器学习中的范数规则化之（一）L0、L1与L2范数 zouxy09@qq.com http://blog.csdn.net/zouxy09 今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。知识有限，以下都是我一些浅显的看法...
Euclidean norm
最新发布
02-20
<think>好的，用户让我介绍一下欧几里得范数（Euclidean norm）。首先，我需要回忆一下欧几里得范数的基本概念。欧几里得范数应该就是向量空间中常见的向量长度，也就是L2范数，对吧？比如二维或三维空间中向量的长度，就是欧几里得范数的典型例子。 用户之前问过Kronecker积，现在接着问欧几里得范数，可能是对线性代数中的基本概念感兴趣，或者是在学习相关课程，需要这些基础知识的讲解。我需要确保回答准确且易于理解，特别是用户可能刚接触这个概念，所以需要从定义、公式、性质、应用等方面展开，并给出例子。 首先，定义部分：欧几里得范数定义为向量各元素平方和的平方根。数学表达式是||v||₂ = √(v₁² + v₂² + ... + vₙ²)。这个部分需要解释清楚，可能还要提到它和几何中向量长度的关系，这样用户能联想到实际意义。 接下来是性质，比如非负性、齐次性、三角不等式等。这些都是范数的基本性质，但需要具体到欧几里得范数，比如齐次性中，标量乘以向量的范数等于标量绝对值乘以原范数，这里要注意绝对值，可能容易忽略。另外，三角不等式对应向量加法的长度不超过各自长度之和，可以举例子说明。 应用方面，欧几里得范数在机器学习、优化问题、几何距离计算中都有广泛应用。比如K-means聚类中使用欧氏距离，最小二乘法中的损失函数就是基于欧几里得范数的平方。这部分需要结合实际应用场景，让用户理解其重要性。 可能还需要比较一下其他范数，比如L1范数（曼哈顿距离）、L∞范数（最大值范数），帮助用户区分不同范数的使用场景。例如，L1对异常值更鲁棒，而L2在优化中更平滑，便于求导等。 然后，给出一个具体的计算例子，比如二维或三维向量的计算过程，这样用户能直观看到如何应用公式。例如，向量v = (3, 4)，其欧几里得范数是5，符合勾股定理，这样用户容易记住。 另外，可能需要提到欧几里得空间的概念，这是由欧几里得范数定义的内积空间，内积和范数之间的关系，比如内积的平方根就是范数。这可以扩展用户的理解，尤其是如果他们学过内积的话。 在数学符号方面，确保使用正确的LaTeX格式，比如向量用粗体或者箭头表示，范数用双竖线。同时，避免使用过于复杂的术语，保持解释的简洁性。 还要考虑用户可能的疑问点，例如为什么平方后再开根号？可能是为了消除负号的影响，同时保持距离的度量是平滑的。或者为什么欧几里得范数在优化中常用？因为它的可导性较好，方便使用梯度下降等方法。 最后，可能需要给出代码示例，比如用Python的NumPy库计算欧几里得范数，这样用户可以在实际编程中应用。同时指出常见的函数，比如numpy.linalg.norm，并说明参数ord=2对应欧几里得范数。 总结一下，回答的结构应该是：定义、公式、性质、应用、与其他范数的比较、例子、代码实现，以及可能的常见问题解答。确保逻辑清晰，层次分明，帮助用户全面理解欧几里得范数的各个方面。</think>**欧几里得范数（Euclidean Norm）** 是向量空间中最常用的范数之一，用于衡量向量的“长度”或“大小”。它源于欧几里得几何中的距离概念，广泛应用于机器学习、优化问题、物理学和工程学等领域。 --- ### **1. 定义** 对于 \( n \) 维向量 \( \mathbf{v} = (v_1, v_2, \dots, v_n) \)，其欧几里得范数（L2 范数）定义为： \[ \|\mathbf{v}\|_2 = \sqrt{v_1^2 + v_2^2 + \cdots + v_n^2} \] 即向量各分量平方和的平方根。 --- ### **2. 几何意义** - **直观解释**：在二维或三维空间中，欧几里得范数对应向量的几何长度。例如： - 二维向量 \( \mathbf{v} = (3, 4) \) 的欧几里得范数为： \[ \|\mathbf{v}\|_2 = \sqrt{3^2 + 4^2} = 5 \] 这正是勾股定理的结果。 - 三维空间中点到原点的距离也通过此公式计算。 --- ### **3. 核心性质** 1. **非负性** \[ \|\mathbf{v}\|_2 \ge 0，且 \|\mathbf{v}\|_2 = 0 \iff \mathbf{v} = \mathbf{0} \] 2. **齐次性（标量乘法的线性性）** \[ \|c \mathbf{v}\|_2 = |c| \cdot \|\mathbf{v}\|_2 \quad (c \text{ 为标量}) \] 3. **三角不等式** \[ \|\mathbf{u} + \mathbf{v}\|_2 \le \|\mathbf{u}\|_2 + \|\mathbf{v}\|_2 \] 4. **与内积的关系** 在欧几里得空间中，范数可通过内积定义： \[ \|\mathbf{v}\|_2 = \sqrt{\mathbf{v} \cdot \mathbf{v}} \] --- ### **4. 典型应用场景** #### **(1) 机器学习与数据科学** - **距离度量**：K-近邻算法（KNN）、K-means 聚类等使用欧氏距离（即两向量差的 L2 范数）衡量样本相似性。 - **正则化（L2 正则化）**：在损失函数中加入权重的 L2 范数惩罚项，防止过拟合（如岭回归）。 #### **(2) 优化问题** - **最小二乘法**：求解线性方程组 \( A\mathbf{x} = \mathbf{b} \) 时，最小化残差的欧几里得范数： \[ \min_{\mathbf{x}} \|A\mathbf{x} - \mathbf{b}\|_2^2 \] #### **(3) 几何与物理学** - **向量长度与能量**：在物理学中，欧几里得范数可表示物体的位移、速度向量的模长或系统的能量。 #### **(4) 归一化处理** - **单位向量化**：将向量除以其欧几里得范数，得到方向单位向量： \[ \hat{\mathbf{v}} = \frac{\mathbf{v}}{\|\mathbf{v}\|_2} \] --- ### **5. 与其他范数的对比** | **范数类型** | **定义** | **特点** | **典型用途** | |--------|------------------------------|--------------------------| | **L1 范数** | \(\|\mathbf{v}\|_1 = \sum_{i=1}^n |v_i|\) | 稀疏性约束（如特征选择） | LASSO 回归、压缩感知 | | **L2 范数** | \(\|\mathbf{v}\|_2 = \sqrt{\sum_{i=1}^n v_i^2}\) | 平滑性、可导性 | 正则化、几何距离 | | **L∞ 范数** | \(\|\mathbf{v}\|_\infty = \max_i |v_i|\) | 关注最大偏差 | 控制最坏情况误差 | --- ### **6. 计算示例** 以向量 \( \mathbf{v} = (1, -2, 2) \) 为例： \[ \|\mathbf{v}\|_2 = \sqrt{1^2 + (-2)^2 + 2^2} = \sqrt{1 + 4 + 4} = \sqrt{9} = 3 \] --- ### **7. 代码实现** - **Python（NumPy）**： ```python import numpy as np v = np.array([1, -2, 2]) norm = np.linalg.norm(v, ord=2) # ord=2 表示 L2 范数 print(norm) # 输出 3.0 ``` - **MATLAB**： ```matlab v = [1, -2, 2]; norm = norm(v, 2); % 输出 3 ``` --- ### **8. 数学扩展** - **矩阵的 Frobenius 范数**：可视为将矩阵展开为向量后的欧几里得范数： \[ \|A\|_F = \sqrt{\sum_{i=1}^m \sum_{j=1}^n |a_{ij}|^2} \] 用于衡量矩阵的整体“大小”。 --- ### **总结** 欧几里得范数是向量空间中最自然的长度度量，其平滑性和可导性使其成为优化问题与机器学习的核心工具。理解 L2 范数及其与其他范数的区别，有助于在实际问题中选择合适的度量或正则化方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值