损失与损失函数L1、L2、MSE

最新推荐文章于 2024-01-04 11:32:08 发布
最新推荐文章于 2024-01-04 11:32:08 发布
阅读量2.5k 收藏 2
点赞数
分类专栏： 机器学习 文章标签： tensorflow 机器学习 概率论 深度学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43951831/article/details/105164050
版权

损失

是一个数值，表示对样本而言模型预测的准确程度。

如果模型的预测完全正确，则损失为零，反之损失会很大。

训练模型的目标是从所有的样本当中，找到一组损失较小的权重与偏差。其“损失较小”的考量取决于具体需要

 

损失函数

L1损失：

        基于模型预测的值与标签的实际值之差的绝对值

 

L2 损失：

        平方损失

 

 MSE均方误差

标签是我们要预测的真实事物：一般是函数的y，或者是f(x)

特征是指用于描述数据的输入变量：xi 线性回归中的{x1,x2,…,xn}变量

样本是指数据的特定实例：x

 

eg 样本数据如下

x12345
y25469

假设学习到的模型为 y = 2x，则L2损失为

正确的y为 2、4、6、8、10

L1 = 0、1、2、2、1

L2 = (2-2)^2+(5-4)^2+(4-6)^2+(6-8)^2+(9-10)^2 = 10

MSE = L2 / 5 = 2

strike_rf
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
【损失函数：1】L1、L2、SmoothL1（附Pytorch实现）
NorthSmile的博客
09-25 8198
作者自己是做图像去雾的，平常也会看一些其他的图像恢复方向的文章，比如图像去噪、图像增强、图像去模糊以及图像超分辨等。我们知道损失函数决定了网络训练目标，对于一个任务最后可以实现的功能影响很大，这里我就想把我见过的一些损失函数进行记录，供大家学习参考。
MSE（L2损失）与MAE（L1损失）的分析
zzzz_123123的博客
02-09 5637
简单来说，MSE计算简便，但MAE对异常点有更好的鲁棒性。训练一个机器学习模型时，目标就是找到损失函数达到极小值的点。当预测值等于真实值时，这两种函数都能达到最小。 分析：MSE对误差取了平方（令e=真实值-预测值），因此若e>1，则MSE会进一步增大误差。如果数据中存在异常点，那么e值就会很大，而e²则会远大于|e|。因此，相对于使用MAE计算损失，使用MSE的模型会赋予异常点更大的权...
【机器学习】损失函数(Loss Function)全总结(2023最新整理)关键词：Logistic、Hinge、Exponential、Modified Huber、Softmax、L1、L2正则化
Next_SummerAgain的博客
03-15 1万+
【机器学习】损失函数(Loss Function)全总结(2023最新整理) 关键词：Logistic、Hinge、Exponential、Modified Huber、Softmax、L1、L2正则化
L1损失（MAE）、L2损失（MSE）
MOL
06-05 3万+
目录 均绝对误差(L1Loss) 均方误差MSE (L2 Loss) MSE和MAE的选择 总结 均绝对误差(L1Loss) 均绝对误差（Mean Absolute Error,MAE) 是指模型预测值f(x)和真实值y之间距离的均值，其公式如下： 忽略下标i，设n=1，以f(x)−y为横轴，MAE的值为纵轴，得到函数的图形如下： MAE曲线连续，但是在y−f(x)=0处不可导。而且 MAE 大部分情况下梯度都是相等的，这意味着即使对于小的损失值，其梯度也是大的。这不利于函数的收敛...
【回归损失函数】L1（MAE）、L2（MSE）、Smooth L1 Loss详解
Roaddd的博客
03-14 1万+
1. L1 Loss（Mean Absolute Error，MAE）        平均绝对误差（MAE）是一种用于回归模型的损失函数。MAE 是目标变量和预测变量之间绝对差值之和，因此它衡量的是一组预测值中的平均误差大小，而不考虑它们的方向，范围为 0~∞。 MAE公式如下： 导数： MAE图像如下： 主要问题：        导数为常数，在 Loss 函数最
文本分类之模型训练计算损失与精度
qq_45274913的博客
10-31 1552
2021SC@SDUSC 文本分类半监督学习分析代码来源： GitHub - SanghunYun/UDA_pytorch: UDA(Unsupervised Data Augmentation) implemented by pytorchhttps://github.com/Sanghunyun/UDA_pytorch该项目（无标签数据增强）整体思路见下图： 1.计算模型训练损失 该模型训练的损失分为有标签和无标签数据造成的损失两部分，由图中可以看出分别使用交叉熵和相对熵进行计算。 代码.
【12】完整模型训练套路+查看训练损失+打印正确率argmax+特殊层BN和Dropout层
cocapop的博客
04-06 1474
① 下面用 CIFAR 10 model网络来完成分类问题，网络模型如下图所示。
回归问题常用损失函数L1Loss、L2Loss、SmoothL1Loss
weixin_44104200的博客
04-16 2573
L1范数误差(L1 loss) 代表：MAE(Mean Absolute Error, 均绝对误差)。即估计值f(x)f(x)f(x)与真实值yyy之间距离的均值。 MAE=1n∑i=1n∣f(xi)−yi∣MAE=\frac{1}{n}\sum_{i=1}^n|f(x_i)-y_i|MAE=n1​i=1∑n​∣f(xi​)−yi​∣ 优点 无论对于什么样的输入值，都有着稳定的梯度，不会导致梯度爆炸问题，具有较为稳健性的解。 对于离群点不那么敏感。因为MAEMAEMAE计算的是误差y−f(x)y−f(x)
smooth L1、L1、L2 损失函数的区别
weixin_41405284的博客
11-13 1999
感谢商汤科技给我一次面试的机会，通过面试也暴漏了自己很多问题。 立体匹配中很多网络都是用的 smooth L1 loss。那他和L1、L2 loss的区别是什么呢？ L1 loss(MAE） 其中 x 为预测框与 groud truth 之间 elementwise 的差异。 先说下L1 loss的优点： 优点：L1 的导数为常数。，无论对于什么样的输入值，都有着稳定的梯度，不会导致梯度爆炸问题，具有较为稳健性的解。如果训练数据被异常值破坏的话（也就是我们在训练环境中错误地接收到巨大的不.
深度学习基础知识（六）--- 损失函数
朝花&夕拾
01-30 2173
1.L1损失（绝对损失函数） 和 L2 损失（平方损失函数） L1范数损失函数，也被称为 最小绝对值偏差（LAD），最小绝对值误差（LAE）。 总的说来，它是把目标值（Yi）与估计值（f(xi)）的绝对差值的总和（S）最小化： L2范数损失函数，也被称为最小平方误差（LSE）。总的来说，它是把目标值（Yi）与估计值（f(xi)）的差值的平方和（S）最小化： 2. M...
深度学习参数对模型的影响：Loss(损失）、方差、Precision(精确度)、Recall（召回率
浅层阳光_DeepLearning
10-13 7246
损失、方差、precision_精确度、recall_召回率对模型的影响欢迎进入小太阳新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎进入小太阳 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你
训练模型中损失（loss）异常分析
热门推荐
github_38052581的博客
02-27 4万+
前言 训练模型过程中随时都要注意目标函数值(loss)的大小变化。一个正常的模型loss应该随训练轮数（epoch）的增加而缓慢下降，然后趋于稳定。虽然在模型训练的初始阶段，loss有可能会出现大幅度震荡变化，但是只要数据量充分，模型正确，训练的轮数足够长，模型最终会达到收敛状态，接近最优值或者找到了某个局部最优值。在模型实际训练过程中，可能会得到一些异常loss值，如loss等于nan；los...
【损失函数】深度学习回归任务中你必须了解的三种损失函数，绝对误差损失（L1 Loss、MAE）均方误差损失（L2 Loss、MSE）以及平滑L1损失（Huber Loss）（2024最新整理）
Next_SummerAgain的博客
01-04 8689
是预测值和真实值之差的绝对值的总和。其中，是样本数量，是第个样本的真实值，是第个样本的预测值。
深度学习——常见损失函数Loss：L1 ，L2 ，MSE ，Binary Cross ，Categorical Cross ，Charbonnier ，Weighted TV ，PSNR
qq_40280673的博客
11-08 1万+
在深度学习中，损失函数是一个核心组件，它度量模型的预测结果与真实值之间的差异。通过最小化损失函数的值，模型能够在训练过程中逐渐改善其性能。损失函数为神经网络提供了一个明确的优化目标，是连接数据和模型性能的重要桥梁。
损失函数#1
qq_43508270的博客
06-06 2882
损失函数--MAE、MSE、L1、L2、smooth L1、IOU Loss
回归模型常见的损失函数
陨星落云的博客
05-21 2万+
机器学习中的所有算法都依赖于最小化或最大化函数，我们将其称为“目标函数”。最小化的函数组称为“损失函数”。损失函数是衡量预测模型在能够预测预期结果方面的表现有多好的指标。寻找最小值的最常用方法是“梯度下降”。想想这个函数的作用，如起伏的山脉和梯度下降就像滑下山到达最低点。 没有一种损失函数适用于所有类型的数据。它取决于许多因素，包括异常值的存在，机器学习算法的选择，梯度下降的时间效率，易于找到衍生...
机器学习之模型评估(损失函数的选择)
weixin_34413802的博客
04-13 722
线性回归： 可以用损失函数来评估模型，这个损失函数可以选择平方损失函数， 将所有样本的x和y代入， 只要损失函数最小，那么得到的参数就是模型参数 逻辑回归： 可以使用似然概率来评估模型，将所有样本的x和y代入， 只要这个似然概率最大，那么得到的参数，就是模型参数 也可以理解为，其实概率模型不是用损失函数来评估模型，而是用概率来评估模型 只要所有样本的条件概率乘积(相互独立同分布) 常见的损失函数 ...
几种常见的损失函数
weixin_34269583的博客
10-16 311
1. 损失函数、代价函数与目标函数   损失函数（Loss Function）：是定义在单个样本上的，是指一个样本的误差。  代价函数（Cost Function）：是定义在整个训练集上的，是所有样本误差的平均，也就是所有损失函数值的平均。  目标函数（Object Function）：是指最终需要优化的函数，一般来说是经验风险+结构风险，也就是（代价函数+正则化项）。 2. 常用的损失...
pytorch损失函数
ls_6468的博客
09-18 890
pytorch损失函数可用于数据在2维以上的导出与导入 损失函数在torch.nn中。 可用于数据在2维以上的 L1范数损失 L1Loss torch.nn.L1Loss(reduction='mean') 参数：reduction-三个值，none: 不使用约简；mean:返回loss和的平均值； sum:返回loss的和。默认：mean。 意义：计算 output 和 target 之差的绝对值。 均方误差损失 MSELoss torch.nn.MSELoss(reduction='mean')
均方误差损失函数与L2 Loss
最新发布
06-06
均方误差（Mean Squared Error, MSE）和 L2 Loss 是在机器学习中广泛使用的损失函数，它们都属于衡量预测值与真实值之间差距的指标，特别是在回归任务中。L2 Loss 又被称为平方误差损失或欧几里得距离的平方。 **均方误差（MSE）**： MSE 是计算预测值（y_pred）与实际值（y_true）的差的平方的平均值。公式为： \[ MSE = \frac{1}{n}\sum_{i=1}^{n}(y_{pred,i} - y_{true,i})^2 \] 这里的 n 是样本数量。MSE 反映了所有样本预测误差的平均大小，数值越小，表示模型的预测越接近真实值。 **L2 Loss**： L2 Loss 或者 L2 正则化是 MSE 的另一种表述，它衡量的是预测值与真实值之间差异的平方和，加上一个正则项（如果有的话），用于控制模型复杂度，防止过拟合。它的形式通常包括数据部分和正则部分： \[ L2 Loss = \frac{1}{n}\sum_{i=1}^{n}(y_{pred,i} - y_{true,i})^2 + \lambda\sum_{j}(w_j)^2 \] 其中 \( w_j \) 是模型参数，\( \lambda \) 是正则化强度。 **相关问题--:** 1. 除了回归任务，还有哪些任务常使用L2 Loss作为损失函数？ 2. L1 Loss与L2 Loss有何区别？在什么情况下更适合使用L1 Loss？ 3. L2 Loss如何帮助模型防止过拟合？
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值