L1和L2损失函数(L1 and L2 loss function)及python实现

最新推荐文章于 2024-05-10 03:05:19 发布
最新推荐文章于 2024-05-10 03:05:19 发布
阅读量3.5w 收藏 102
点赞数 19
分类专栏： 机器学习 编程 python 文章标签： loss function l1 l2 numpy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43216017/article/details/88017122
版权

       在我们做机器学习的时候，经常要选择损失函数，常见的损失函数有两种：L1-norm loss function和L2-norm loss function。

       需要注意的是，损失函数(loss function)和正则化(regularity)是两种不同的东西，虽然思路类似，但是他们却有着完全不同的作用和目的。本文主要讲损失函数。

L1和L2正则化讲解


L1和L2 损失函数定义

L1损失函数

       使用L1损失函数也被叫做最小化绝对误差(Least Abosulote Error)。这个名称非常的形象。LAE就是最小化真实值 y i y_i yi​和预测值 f ( x i ) f(x_i) f(xi​)之间差值 D L 1 D_{L1} DL1​的绝对值的和。
D L 1 = ∑ i = 1 n ∣ y i − f ( x i ) ∣ D_{L1} = \sum_{i=1}^{n}|y_i-f(x_i)| DL1​

最低0.47元/天 解锁文章
weixin_43216017
关注
  • 19
    点赞
  • 踩
  • 102
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
【损失函数：1】L1、L2、SmoothL1（附Pytorch实现）
NorthSmile的博客
09-25 7977
作者自己是做图像去雾的，平常也会看一些其他的图像恢复方向的文章，比如图像去噪、图像增强、图像去模糊以及图像超分辨等。我们知道损失函数决定了网络训练目标，对于一个任务最后可以实现的功能影响很大，这里我就想把我见过的一些损失函数进行记录，供大家学习参考。
L1损失（MAE）、L2损失（MSE）
热门推荐
简单记录生活、学习
06-05 3万+
目录 均绝对误差(L1Loss) 均方误差MSE (L2 Loss) MSE和MAE的选择 总结 均绝对误差(L1Loss) 均绝对误差（Mean Absolute Error,MAE) 是指模型预测值f(x)和真实值y之间距离的均值，其公式如下： 忽略下标i，设n=1，以f(x)−y为横轴，MAE的值为纵轴，得到函数的图形如下： MAE曲线连续，但是在y−f(x)=0处不可导。而且 MAE 大部分情况下梯度都是相等的，这意味着即使对于小的损失值，其梯度也是大的。这不利于函数的收敛...
python机器学习——回归模型评估方法 &amp； 回归算法（线性回归、L2岭回归）_python中如何评价多元线性回归的拟合度(1)
2401_84715732的博客
05-10 421
线性回归 LinearRegression与Ridge对比。正则化系数越大，权重趋近于0，模型越来越简单。特点：线性回归器是最为简单、易用的回归模型。
目标检测中回归损失函数（L1Loss,L2Loss,Smooth L1Loss,IOU,GIOU,DIOU,CIOU,EIOU,αIOU ,SIOU)
zyw2002的博客
03-04 5171
为了解决CIoU的问题，有学者在CIOU的基础上将纵横比拆开，提出了EIOU Loss，并且加入Focal聚焦优质的预测框，与CIoU相似的，EIoU是损失函数的解决方案，只用于训练。在错误率小的地方，梯度的值也应当小，反之在错误率大的地方，梯度也应当大，因为这时候我们需要对错误率小的情况进行微调，而错误率大的地方进行大刀阔斧的调整；如下图所示，三种情况IoU都相等，但看得出来他们的重合度是不一样的，左边的图回归的效果最好，右边的最差。DIoU的作者考虑到，在两个框中心点重合时，c与d的值都不变。
【损失函数】(二) L2Loss原理 & pytorch代码解析
Lizhi_Tech的博客
07-27 3437
直入主题，这次来介绍L2loss的原理以及pytorch代码用法。
深度学习中常见的损失函数（L1Loss、L2loss）
qq_37925923的博客
10-17 2万+
损失函数
线性代数的本质--对线性空间、向量和矩阵的直觉描述
weixin_34284188的博客
07-25 1101
在网上看到的一篇文章，看了以后感触颇深。 线性代数课程，无论你从行列式入手还是直接从矩阵入手，从一开始就充斥着莫名其妙。 比如说，在全国一般工科院系教学中应用最广泛的同济线性代数教材（现在到了第四版），一上来就介绍逆序数这个古怪概念，然后用逆序数给出行列式的一个 极不直观的定义，接着是一些简直犯傻的行列式性质和习题——把这行乘一个系数加到另一行上，再把那一列减过来，折腾得那叫一个热...
L1与L2损失函数
简简单单
03-20 6639
参考之前博客：https://blog.csdn.net/yql_617540298/article/details/87904860 参考：https://blog.csdn.net/jclian91/article/details/83239781 一、损失函数 1. L1 loss L1范数损失函数，也被称为最小绝对值偏差（LAD），最小绝对值误差（LAE）。总的说来，它是把目标值与...
tensorflow使用L2 regularization正则化修正overfitting过拟合方式
09-16
在TensorFlow中实现L2正则化，可以通过`tf.nn.l2_loss()`函数计算权重的平方和，然后将其与损失函数相加。下面是一个简单的例子： ```python import tensorflow as tf # 定义模型权重 weights = tf.Variable(tf....
Python库 | hist_loss-0.0.8-py3.7.egg
02-21
在Python的机器学习或数据分析项目中，损失函数（loss function）是衡量模型预测结果与实际数据之间差异的重要工具。历史损失（histogram loss）则是在这个基础上，引入了对模型预测结果分布的考虑，特别是在处理...
Python-DmitryUlyanovtexturenets的TensorFlow实现
08-12
4. **损失函数（Loss Function）**：在训练过程中，合适的损失函数对于模型优化至关重要。在纹理合成中，可能会使用L1或L2距离、结构相似度指数（SSIM）等来衡量生成纹理与真实纹理的相似度。 5. **优化算法**：...
Python-一个Theano框架用于构建和训练神经网络
08-11
2. **损失函数（Loss Function）**：衡量模型预测与实际结果的差距，如均方误差或交叉熵。 3. **反向传播（Backpropagation）**：计算损失对每个权重的梯度，用于权重更新。 4. **优化算法（Optimization ...
使用单个训练图像 的基于 cGAN 的漫画着色_python_jupyter_代码_下载
06-17
通常会使用两个损失函数：生成器损失和判别器损失，这些损失可能包括对抗性损失和L1或L2距离损失。 5. **训练过程**：在训练cGAN时，会交替优化生成器和判别器。首先，固定判别器并更新生成器，然后固定生成器并...
深度学习快速入门系列---损失函数
qq_42681787的博客
08-13 937
在深度学习中，损失函数的作用是量化预测值和真实值之间的差异，使得网络模型可以朝着真实值的方向预测，损失函数通过衡量模型预测结果与真实标签之间的差异，反映模型的性能。同时损失函数作为一个可优化的目标函数，通过最小化损失函数来优化模型参数。在本篇文章中，我们介绍一下，深度学习中最常用的几种损失函数
【损失函数】深度学习回归任务中你必须了解的三种损失函数，绝对误差损失（L1 Loss、MAE）均方误差损失（L2 Loss、MSE）以及平滑L1损失（Huber Loss）（2024最新整理）
Next_SummerAgain的博客
01-04 8089
是预测值和真实值之差的绝对值的总和。其中，是样本数量，是第个样本的真实值，是第个样本的预测值。
【机器学习】损失函数(Loss Function)全总结(2023最新整理)关键词：Logistic、Hinge、Exponential、Modified Huber、Softmax、L1、L2正则化
Next_SummerAgain的博客
03-15 1万+
【机器学习】损失函数(Loss Function)全总结(2023最新整理) 关键词：Logistic、Hinge、Exponential、Modified Huber、Softmax、L1、L2正则化
pytorch底层
weixin_42693876的博客
08-28 1486
1、L2normalize：L2归一化：将一组数变成0-1之间。pytorch调用的函数是F.normalize。一般池化后会有一层l2norm层。 # l2norm 的实现如下 x = torch.tensor([[1, 2, 3], [4, 5, 6], [7, 8, 9]]) norm = x.pow(p).sum(1, keepdim=True).pow(1./ p) # l2norm p=2 print(norm) out = x.div(norm) print(out) 2、torch的几
Tensorflow: 怎么写L2 loss
Felaim的博客
03-10 1260
最近真的写的都是非常基础的小点，也是希望自己能够好好积累。 在训练中，我们通常会定义各种各样的loss，那么最简单的一个loss就是L2的distance，这个要怎么写呢？ 假设我们有两个feature，一个是我们predict出来的，我们假设为pred，另外一个是我们得到的ground_truth, 假设为gt， pred = np.random.randint(1, 5, [2, 5, 5, ...
L1损失函数和L2损失函数
最新发布
06-02
L1损失函数和L2损失函数是常用的用于回归问题的损失函数。 L1损失函数也被称为绝对值损失函数，它的定义为真实值与预测值之间差值的绝对值之和。L1损失函数的优点是对异常值（outlier）不敏感，但缺点是不可导，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值