范数与L1损失（MAE）、L2损失（MSE）的关系

最新推荐文章于 2023-07-07 00:15:00 发布
最新推荐文章于 2023-07-07 00:15:00 发布
阅读量1.8w 收藏 8
点赞数 4
分类专栏： 机器学习基础 文章标签： 机器学习 线性代数 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43135178/article/details/115404310
版权

L0范数是指向量中非0的元素的个数。(L0范数很难优化求解)

L1范数是指向量中各个元素绝对值之和

L2范数是指向量各元素的平方和然后求平方根

L1范数可以进行特征选择，即让特征的系数变为0.

L2范数可以防止过拟合，提升模型的泛化能力，有助于处理 condition number不好下的矩阵(数据变化很小矩阵求解后结果变化很大)（核心：L2对大数，对outlier离群点更敏感！）

下降速度：最小化权值参数L1比L2变化的快

模型空间的限制：L1会产生稀疏 L2不会。

L1会趋向于产生少量的特征，而其他的特征都是0，而L2会选择更多的特征，这些特征都会接近于0。

与L1 loss 和L2 loss的关系

 那么l1 loss就可以用l1范数表示为：

\mathcal{L}_{L 1}(G)=\mathbb{E}_{x, y}\left[\|y-G(x)\|_{1}\right]

 那么l2 loss就可以用l2范数表示为：

\mathcal{L}_{L 2}(G)=\mathbb{E}_{x, y}\left[\|y-G(x)\|_{1}^{2} \right]

马鹏森
关注
专栏目录
深度学习——常见损失函数Loss：L1 ，L2 ，MSE ，Binary Cross ，Categorical Cross ，Charbonnier ，Weighted TV ，PSNR
qq_40280673的博客
11-08 1万+
在深度学习中，损失函数是一个核心组件，它度量模型的预测结果与真实值之间的差异。通过最小化损失函数的值，模型能够在训练过程中逐渐改善其性能。损失函数为神经网络提供了一个明确的优化目标，是连接数据和模型性能的重要桥梁。
机器学习中的范数规则化之L0、L1与L2范数
10-19
通俗易懂的讲解机器学习中的范数规则化之L0、L1与L2范数的原理，帮助理解稀疏编码中的目标函数优化问题中的L1范数规则化
L2范数（L2 Norm）与均方差（MSE）
TsXor的博客
10-09 8400
没啥好说的，做个笔记！
L1范数，L1损失，还有MAE损失的区别
weixin_49497024的博客
09-08 2046
1.范数 用来衡量一个向量的大小，例如向量xxx，∥x∥p=(∑in∣xi∣p)1p{{\parallel x\parallel}_p=(\sum_{i}^{n}|x_i|^p)^{\frac{1}{p}}}∥x∥p​=(∑in​∣xi​∣p)p1​。 该公式可以解释为：向量中的各个元素的绝对值的ppp次方之和的1p\frac{1}{p}p1​次方。 再直观点：该xxx范数（∥x∥p{\parallel x\parallel}_p∥x∥p​）衡量从原点到点xxx的距离。 -----范数满足的性质，以及ppp
详细解释SDNE中L1st损失
weixin_42612804的博客
12-22 208
L1 损失是指 L1 范数损失，它是一种常用的损失函数，在机器学习和深度学习中经常被使用。 L1 范数损失的定义是：对于给定的样本 (x, y)，L1 范数损失为： L1(x, y) = ∑|y_i - x_i| 其中 x 和 y 都是向量，y_i 和 x_i 分别表示 y 和 x 中的第 i 个元素。 L1 范数损失是一种非常简单的损失函数，它可以用来度量预测值和真实值之间的差异。与 L2 范数...
【回归损失函数】L1（MAE）、L2（MSE）、Smooth L1 Loss详解
Roaddd的博客
03-14 1万+
1. L1 Loss（Mean Absolute Error，MAE）        平均绝对误差（MAE）是一种用于回归模型的损失函数。MAE 是目标变量和预测变量之间绝对差值之和，因此它衡量的是一组预测值中的平均误差大小，而不考虑它们的方向，范围为 0~∞。 MAE公式如下： 导数： MAE图像如下： 主要问题：        导数为常数，在 Loss 函数最
回归问题常用损失函数L1Loss、L2Loss、SmoothL1Loss
weixin_44104200的博客
04-16 2612
L1范数误差(L1 loss) 代表：MAE(Mean Absolute Error, 均绝对误差)。即估计值f(x)f(x)f(x)与真实值yyy之间距离的均值。 MAE=1n∑i=1n∣f(xi)−yi∣MAE=\frac{1}{n}\sum_{i=1}^n|f(x_i)-y_i|MAE=n1​i=1∑n​∣f(xi​)−yi​∣ 优点 无论对于什么样的输入值，都有着稳定的梯度，不会导致梯度爆炸问题，具有较为稳健性的解。 对于离群点不那么敏感。因为MAEMAEMAE计算的是误差y−f(x)y−f(x)
梳理L1、L2与Smooth L1
深海游鱼
07-04 1560
梳理L1、L2与Smooth L1 关于L1、L2的范数、损失函数和正则化，之前一直混淆这几个概念，故对这几天看过的资料进行了梳理。 范数(norm)是数学中的一种基本概念。在泛函分析中，它定义在赋范线性空间中，并满足一定的条件，即①非负性；②齐次性；③三角不等式。它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。 首先以L2范数为例对范数做一个简单的说明： L2范数: 假设XXX是n维的特征X=(x1,x2,x3,…,xn)X=(x_1,x_2,x_3,…,x_n)X=(x1​,x2​,
（脑肿瘤分割笔记：九）用于医学图像分割的多尺度L1损失对抗网络
weixin_43921949的博客
08-26 1593
SegAn使用多尺度L1损失的分割网络
机器学习中的 L1,L2 loss分别是什么
大西瓜不甜的博客
04-21 4728
一、常见的MSE、MAE损失函数 1.1 均方误差、平方损失 均方误差（MSE）是回归损失函数中最常用的误差，它是预测值与目标值之间差值的平方和，其公式如下所示： 下图是均方根误差值的曲线分布，其中最小值为预测值为目标值的位置。 优点：各点都连续光滑，方便求导，具有较为稳定的解 缺点：不是特别的稳健，为什么？因为当函数的输入值距离中心值较远的时候，使用梯度下降法求解的时候梯度很大，可能...
MATLAB算法实战应用案例精讲-【数模应用】MSE损失函数
最新发布
qq_36130719的博客
07-07 295
不光是MSE loss, 任何loss只是优化的途径，并不是衡量模型好坏的唯一标准。没有绝对的标准。一般是通过模型输出的物理意义、实际所需要的精度、自己期望的精度来衡量。通常的做法是，建立一个baseline 模型，查看效果，这里的效果是你真正要优化的目标，比如precision, recall, auc, etc.然后，再把你的模型拿出来，看看效果，跟baseline的进行对比，才知道这个模型真正的效果。光看MSE loss 0.01没办法提供任何信息，在于你不知道这个任务本身的难易程度。
回归损失函数: L1 Loss
热门推荐
小花生的博客
05-07 2万+
平均绝对误差，L1损失 平均绝对误差（MAE）是另一种用于回归模型的损失函数。MAE是目标变量和预测变量之间绝对差值之和。因此它衡量的是一组预测值中的平均误差大小，而不考虑它们的方向（如果我们考虑方向的话，那就是均值误差（MBE）了，即误差之和）。范围为0到∞。 摘录：https://zhuanlan.zhihu.com/p/39239829 注：博众家之所长，集群英之荟萃。 ...
【pytorch损失函数（4）】nn.MSELoss,（Mean Squared Error，MSE） 均方误差（MSE）（squared L2 norm，平方L2范数）。它也被称为L2 Loss。
Hali_Botebie的博客
05-06 3461
它也被称为L2 Loss。上图为均方误差函数图，其中目标真值为 100，预测范围在-10000 到 10000 之间，均方 误差损失（Y 轴）在预测值（X 轴）=100 处有最小值，范围为 0~∞。可以看出梯度都与sigmoid函数的梯度有关，如下图所示，sigmoid函数在两端的梯度均接近0，这导致反向传播的梯度也很小，这就这就不利于网络训练，这就是梯度消失问题。导数变化，不稳定，尤其是在早期阶段（损失越大，导数越大），随着导数越来越小， 训练速度变得越来越慢。
[计算机视觉]-MSE、MEA、L1、L2、smooth L1解释及优缺点
ai_faker的博客
05-31 6640
MAE损失函数 MAE=∑i=1n∣yi−yip1∣nM A E=\frac{\sum_{i=1}^{n} \mid y_{i}-y_{i}^{p_{1}} \mid}{n}MAE=n∑i=1n​∣yi​−yip1​​∣​ 以分类问题举例。 对于上式中，yiy_{i}yi​代表真实值，yipy_{i}^{p}yip​代表预测值。 下面是一个MAE函数的图，其中真实目标值为100，预测值在-10,000至10,000之间。预测值（X轴）= 100时，MSE损失（Y轴）达到其最小值。损失范围为0至∞。 优点
L1、L2、smooth L1三类损失函数
Bruce_0712的博客
05-20 879
一、常见的MSE、MAE损失函数 1.1 均方误差、平方损失 均方误差（MSE）是回归损失函数中最常用的误差，它是预测值与目标值之间差值的平方和，其公式如下所示： 下图是均方根误差值的曲线分布，其中最小值为预测值为目标值的位置。 优点：各点都连续光滑，方便求导，具有较为稳定的解 缺点：不是特别的稳健，为什么？因为当函数的输入值距离中心值较远的时候，使用梯度下降法求解的时候梯度很大，可能导致梯度爆炸。 什么是梯度爆炸？ 误差梯度是神经网络训练过程中计算的方向和数量，用于以正确的方向和合适的量更新网络权重
详解L1、L2、smooth L1三类损失函数
renqianying325的博客
10-06 3045
前言 深度学习里面有很多的损失函数，对于MSE、MAE损失函数可能已经耳熟能详了了，对于L1、L2正则化也很熟悉，那你知道什么是L1_loss和L2_loss吗，以及在目标检测的系列论文比如fast-RCNN、faster-RCNN中经常出现的smooth L1损失又是什么呢？ 一、常见的MSE、MAE损失函数 1.1 均方误差、平方损失 均方误差（MSE）是回归损失函数中最常用的误差，它是预测值与目标值之间差值的平方和，其公式如下所示： 下图是均方根误差值的曲线分布，其中最小值为预测值.
L1&L2，范数&损失
double_yellow的博客
05-23 3251
这里是有很大的区别的哦。而越小的参数说明模型越简单，越简单的模型则越不容易产生过拟合现象。为什么越小的参数说明模型越简单？一种理解是：“限制了参数很小，实际上就限制了多项式某些分量大小，使分量的影响很小，这样就相当于减少参数个数”。在回归里面，有人把有它的回归叫“岭回归”（Ridge Regression），有人也叫它“权值衰减weight decay”。L2范数强大功效是改善机器学习里面一个非常重要的问题：过拟合。它是把目标值y与估计值f(x)的差值的平方和最小化。，都接近于0，但与L1范数不同，
Pytorch学习之损失函数
ZongXS的博客
07-12 960
损失函数 损失函数通过torch.nn包实现， 1 基本用法 criterion = LossCriterion() #构造函数有自己的参数 loss = criterion(x, y) #调用标准时也有参数 2 损失函数 2-1 L1范数损失 L1Loss 计算 output 和 target 之差的绝对值。 torch.nn.L1Loss(reduction=‘mean’) 参数： reduction-三个值，none: 不使用约简；mean:返回loss和的平均值； sum:返回loss的和。默认：m
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

马鹏森

太谢谢了

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值