L1-norm 与 L2-norm (Least Absolute Deviations and Least Squares)

最新推荐文章于 2024-05-13 12:52:03 发布
最新推荐文章于 2024-05-13 12:52:03 发布
阅读量1.7k 收藏 7
点赞数 1
文章标签： 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/FreeDope/article/details/105742327
版权
本文介绍了L1-norm（最小绝对偏差）和L2-norm（最小二乘）在机器学习中的应用，包括正则化和损失函数。L1-norm具有鲁棒性和稀疏性，适合特征选择，而L2-norm则更稳定，通常导致唯一解。通过实例展示了两者对异常值的敏感度差异。
摘要由CSDN通过智能技术生成

在练习机器学习时，您可能会选择使用L1范数或L2范数进行正则化或作为损失函数，等等。

L1-范数也称为最小绝对偏差（LAD），最小绝对误差（LAE）,又叫做 taxicab-norm 或者 Manhattan-norm。这基本上是将目标值（Yi）与估计值 (f(xi)) 之间的绝对差（S）的总和最小化：
在这里插入图片描述
L2-范数也称为最小二乘。它基本上是最小化目标值（Y i）与估计值（f（x i）之间的差（S）的平方和：
在这里插入图片描述

L1-norm和L2-norm的差异可以迅速总结如下：
<
L2 L1
鲁棒性 (弱) 鲁棒性 (强)
解法 (稳定) 解法 (不稳定)
唯一解 (是) (可能有多个解)
没有特征选择 内置特征选择
鲁棒性(弱) 鲁棒性(强)
没有稀疏输出
最低0.47元/天 解锁文章
benicetopapa
关注
  • 1
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
L1 norm和L2 norm
a120623105的专栏
09-02 1640
在论文中经常会出现L1 norm和L2 norm
深度学习下分类任务中L2 norm总结
weixin_38208912的博客
01-03 7479
什么是L2范数？ L2范数既欧式距离，表示向量的元素平方和再开方 ∥x∥2=∑i=1nxi2\Vert x \Vert_{2} = \sqrt{\sum_{i=1}^{n}x_{i}^{2}}∥x∥2​=i=1∑n​xi2​​ 为什么使用L2 norm？ 对于CNN的输出，各个特征的模长均不一样， l2 norm是强行把同个维度的特征归一化。经过L2 norm的数据都处于0到1之间，距离就变得有一...
深度学习正则化(L1 norm/L2 norm)以及dropout理解
NCU_wander的博客
05-19 2454
正则化知识其实是深度学习领域较为基础的知识点，初入此门的时候受限于正则化三个字的逼格，一直不求甚解；后期虽然了解但也仅限于L1和L2范数而已。恰巧上周在谢毅博士的课上旁听，讲到多拟合相关知识，后续和捷文讨论transformer内部的dropout为何还广泛使用，由此总结下正则化相关内容。 1、何为正则化 首先看百度百科的一部分解释：正则化就是对最小化经验误差函数上加约束，这样的约束可以解释为先验知识（正则化参数等价于对参数引入先验分布）。约束有引导作用，在优化误差函数的时候倾向于选择满足约束的梯度减少的方
【什么是范数】L1、L2范数介绍
最新发布
王尼莫的博客
05-13 1945
范数（Norm）是数学中用于衡量向量大小(或距离)的一种概念。在几何和代数中，范数可以提供一个向量长度或大小的量度。更正式地说，范数是一个函数，它将向量的集合映射到非负实数，满足以下性质：在数学上，范数包括向量范数和矩阵范数，向量范数表征向量空间中向量的大小，矩阵范数表征矩阵引起变化的大小。一种非严密的解释就是，对应向量范数，向量空间中的向量都是有大小的，这个大小如何度量，就是用范数来度量的，不同的范数都可以来度量这个大小，就好比米和尺都可以来度量远近一样当 p=2 时，它是欧几里得范数；
理解L1，L2 范数
weixin_42774642的博客
02-28 1076
链接：https://www.zhihu.com/question/26485586/answer/616029832 理解L1，L2 范数 L1，L2 范数即 L1-norm 和 L2-norm，自然，有L1、L2便也有L0、L3等等。因为在机器学习领域，L1 和 L2 范数应用比较多，比如作为正则项在回归中的使用 Lasso Regression(L1) 和 Ridge Regressi...
l1-norm loss & l2-norm loss （l1范数和l2范数作为正则项的比较）
兔角与禅
04-23 7926
l1-norm loss &amp; l2-norm loss （l1范数和l2范数作为正则项的比较） l1-norm 和 l2-norm是常见的模型优化过程中的正则化项，对应到线性回归的领域分别为lasso Regression和 Ridge Regression，也就是 lasso 回归（有的地方也叫套索回归）和岭回归（也叫脊回归）。在深度学习领域也用l1和l2范数做正则化处理。这里简要介绍...
向量 模（module） 范数（norm）
热门推荐
linkequa的博客
02-14 3万+
1，向量的模和范数的计算结果都是一个实数，这个数字对应着单个向量的长度或者两个向量之间的距离。 2，在空间几何中（经常是2或3维空间），常用模来表示向量的长度或两个向量间的距离，符号为||x⃗\vec{x}x||。 例子： 在二维空间中有两个向量：x⃗=(1,2)，y⃗=(2,3)\vec{x}=(1,2)，\vec{y}=(2,3)x=(1,2)，y​=(2,3)， 则x⃗的长度为∣∣x⃗∣∣=...
L1-norm 加 L2-norm 稀疏参数用于图像识别
05-29
L1-norm 加 L2-norm 稀疏参数用于图像识别
l1_and_l2_loss_function:可视化 L1-norm 和 L2-norm 损失函数之间的差异
07-10
l1_and_l2_loss_function 可视化 L1-norm 和 L2-norm 损失函数之间的差异 用于视觉验证 L1-norm 和 L2-norm 损失函数稳定性属性的脚本。 实验设计： 用变化的 y = b * x + c + random_number 生成 N 个基本点。 ...
irntv.zip_L1-TV_L2 正则化_TV-norm_tv 正则_去卷积 正则化
07-15
TV正则化去卷积the Iteratively Reweighted Norm algorithm for solving the generalized TV functional, which includes the L2-TV and and L1-TV problems
基于多种模型剪枝方法（L1-norm、Slimming、AutoSlim）的模型轻量化和模型压缩实现
03-13
本文将深入探讨三种常见的模型剪枝技术：L1-norm剪枝、Slimming以及AutoSlim，这些技术在降低模型大小、提高运行效率的同时，尽可能保持模型的性能。 一、L1-norm剪枝 L1-norm剪枝是一种基于权重绝对值的剪枝策略...
L1-norm Minimization
06-20
一份介绍L1-norm Minimization很好的文档
深度学习中L2 norm的使用
第二剑~的博客
07-02 4161
L2 norm其实是一个比较朴素的应用比较广泛的正则化算法，从过去的传统算法到现在的深度学习，从数据预处理到模型优化，都或多或少的会用到这个思想。其算法的过程也比较简单： 1.求出当前层数据的平方 2.求出当前层数据的平方和 3.将第一步得到的数据除以第二步得到的数据 这样一个简单的过程，会有什么作用呢？首先，经过L2 norm的数据都处于0到1之间。其次，经过L2 norm的数据之间的差异...
L2 norm L1 norm
maxiemei的专栏
11-25 1455
L2 norm L1 norm什么意思 L2 norm就是欧几里德距离 L1 norm就是绝对值相加，又称曼哈顿距离  搞统计的人总是喜欢搞什么“变量选择”，变量选择实际上的 限制条件是L0 Norm，但这玩艺不好整，于是就转而求L1 Norm(使用均方误差，就是Lasso ,当然在Lasso出来之前搞信号处理的就有过类似的工作),Bishop在书里对着RVM好一通 吹牛，其实RVM只是隐含着去
机器学习中的范数规则化之（一）L0、L1与L2范数
modabobo
05-04 7887
机器学习中的范数规则化之（一）L0、L1与L2范数 zouxy09@qq.com http://blog.csdn.net/zouxy09 今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。知识有限，以下都是我一些浅显的看法...
范数（norm）的简单理解
jindaxiaoooo的博客
09-08 1780
当P取值不同，表示的范数也不同： （1）当P=1时：图中正方形上的点的L1范数大小都为1 （2）当P=2：圆上任一点的L2范数都为1 wjw_{j}wj​是w1w_{1}w1​到wnw_{n}wn​中最大的数，那么L无穷范数就等于∣x∣|x|∣x∣或者∣y∣|y|∣y∣，正方形上的任意一点的L无穷范数为K ...
HAR(Human Activity Recognition)数据库(以后再也不用发愁训练数据啦)
zhaoyu106的博客
11-21 1万+
下载地址： https://archive.ics.uci.edu/ml/index.htmlWelcome to the UC Irvine Machine Learning Repository!We currently maintain 351 data sets as a service to the machine learning community. You may view all
L1 L2 norm的数学计算
weixin_39896750的博客
01-03 1512
参考来自 link l1 和l2 norm 是常用的机器学习方法。本文给出一个简单的损失函数来引出L1和L2的计算方式。 计算 我们这里用MSE作为样例。 损失计算如下。 我们的目的是减小损失： 为防止过拟合,增加一个偏差，有利于像复杂度较低的方法拟合。也就是说，两个函数如果能够同样的很好拟合函数，那么我们更喜欢简单的函数。 通过增加一个归一化值，比如说L1 和L2 可以帮助选择更好的拟合函数。 这里的w原文没有细讲，实际上是拟合函数每个x**n的参数，可以再之后的公式看到。随后计算入损失函数就可以看
曼哈顿距离(manhattan)
Mi-Queen
08-29 8123
问题 C: 曼哈顿距离(manhattan) 时间限制: 2 Sec 内存限制: 512 MB 题目描述 现在我们建立一个n维的直角坐标系，每个点可以用它的坐标(x1,x2,⋯,xn)(x1,x2,⋯,xn)(x_1,x_2,⋯,x_n)来表示。如果我们设定每一维坐标都必须是不超过m的正整数，那么一共就有mnmnm^n个点。 对于两个点(a1,a2,⋯,an)(a1,a2,⋯,an)(a...
通过最小的L1规范测距标准对TWSVM进行有效而强大的分类
03-09
L1-TWSVM的关键在于优化策略：通过最大化类间距离色散与类内距离色散的比例，从而增强模型的分类能力。相比于传统的L2范数，L1范数以其不敏感于异常值的特性，使得L1-TWSVM能够更好地处理噪声数据，提高模型的鲁棒性...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值