L1、L2损失和L1、L2正则和MAE、MSE区别

最新推荐文章于 2024-07-24 14:54:00 发布
最新推荐文章于 2024-07-24 14:54:00 发布
阅读量166 收藏
点赞数
文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZQY2233/article/details/134204728
版权

L1损失是求真实值与目标值差的绝对值的和，MAE比它多除了个n，求的是平均值。

同理，L2损失是求真实值与目标值差的平方的和，MSE比它多除了个n，求的是平均值

在torch.nn中L1loss函数的reduction参数可选mean和sum，mean相当于MAE，sum相当于L1损失

正则化的操作则是在原始损失函数后添加正则化项，相当于对损失函数做了一个约束，这个正则

项就是带有控制参数的L1范数和L2范数。

L1范数是对权重矩阵的每个元素绝对值求和

L2范数是对权重矩阵的每个元素求平方和（先平方，后求和）

ZQY2233
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
L1和L2正则化区别
Jinlong_Xu的博客
09-07 4819
1. L1和L2的定义 L1正则化，又叫Lasso Regression 如下图所示，L1是向量各元素的绝对值之和 L2正则化，又叫Ridge Regression 如下图所示，L2是向量各元素的平方和 2. L1和L2的异同点 相同点：都用于避免过拟合 不同点：L1可以让一部分特征的系数缩小到0，从而间接实
正则项L1与L2的区别
qq_41009913的博客
10-31 276
定义 L0范数指向量中非零元素的个数 L1范数：向量中每个元素绝对值的和 ∣∣x∣∣1=∑i=1N∣xi∣||x||_1=\sum_{i=1}^{N}{|x_i|}∣∣x∣∣1​=∑i=1N​∣xi​∣ L2范数：向量元素绝对值的平方和再开平方∣∣x∣∣2=∑i=1Nxi2||x||_2=\sqrt{\sum_{i=1}^{N}{x_i^2}}∣∣x∣∣2​=∑i=1N​xi2​​ 为什么需要正则...
torch.nn中的L1Loss和MSELoss
xinxin的博客
09-02 1321
我们打开Pytorch官网，找到torch.nn中的loss function，进去如下图所示。
L1损失（MAE）、L2损失（MSE）
简单记录生活、学习
06-05 3万+
目录 均绝对误差(L1Loss) 均方误差MSE (L2 Loss) MSE和MAE的选择 总结 均绝对误差(L1Loss) 均绝对误差（Mean Absolute Error,MAE) 是指模型预测值f(x)和真实值y之间距离的均值，其公式如下： 忽略下标i，设n=1，以f(x)−y为横轴，MAE的值为纵轴，得到函数的图形如下： MAE曲线连续，但是在y−f(x)=0处不可导。而且 MAE 大部分情况下梯度都是相等的，这意味着即使对于小的损失值，其梯度也是大的。这不利于函数的收敛...
torch损失函数汇总
爱CV
06-06 2911
weight (Tensor, optional) – 自定义的每个 batch 元素的 loss 的权重. 必须是一个长度为 “nbatch” 的 的 Tensor。weight (Tensor, optional) – 自定义的每个 batch 元素的 loss 的权重. 必须是一个长度 为 “nbatch” 的 Tensor。mean:返回loss和的平均值；weight (Tensor, optional) – 自定义的每个类别的权重. 必须是一个长度为 C 的 Tensor。
【损失函数】深度学习回归任务中你必须了解的三种损失函数，绝对误差损失（L1 Loss、MAE）均方误差损失（L2 Loss、MSE）以及平滑L1损失（Huber Loss）（2024最新整理）
Next_SummerAgain的博客
01-04 8372
是预测值和真实值之差的绝对值的总和。其中，是样本数量，是第个样本的真实值，是第个样本的预测值。
[计算机视觉]-MSE、MEA、L1、L2、smooth L1解释及优缺点
ai_faker的博客
05-31 6465
MAE损失函数 MAE=∑i=1n∣yi−yip1∣nM A E=\frac{\sum_{i=1}^{n} \mid y_{i}-y_{i}^{p_{1}} \mid}{n}MAE=n∑i=1n​∣yi​−yip1​​∣​ 以分类问题举例。 对于上式中，yiy_{i}yi​代表真实值，yipy_{i}^{p}yip​代表预测值。 下面是一个MAE函数的图，其中真实目标值为100，预测值在-10,000至10,000之间。预测值（X轴）= 100时，MSE损失（Y轴）达到其最小值。损失范围为0至∞。 优点
基于卷积神经网络(CNN)数据回归预测，MATLAB代码 评价指标包括:R2、MAE、MSE、RMSE和MAPE等，代码质量
08-25
此外，为了防止过拟合，可以采用正则化技术（如L1或L2正则化）或dropout策略。 总之，这个项目提供了一个使用MATLAB和CNN进行数据回归预测的实例，结合多种评价指标，有助于学习者理解如何在实际问题中应用深度学习...
brainsparks:用于神经网络和深度学习的沙箱
05-09
实施和工作多层感知器（密集层） 反向传播梯度常用激活功能：S型，tanh，ReLU，线性常见的成本/误差函数：MSE，MAE，交叉熵随机梯度下降优化器L1和L2正则化器在作品中一维卷积层，可选的最大池化（梯度接近完成） ...
基于MATLAB的LSTM深度学习网络的训练和测试仿真
04-16
此外，还可以考虑使用早期停止策略来防止过拟合，或者应用正则化技术如L1或L2正则化。 总之，通过MATLAB进行LSTM网络的训练和测试仿真是一个涉及数据预处理、模型构建、训练优化和性能评估的综合过程。在MATLAB中，...
纽约房价预测-线性回归和模型稳定性
02-17
- **正则化**：为了防止过拟合，可以引入L1（Lasso）或L2（Ridge）正则化。 - **参数调优**：通过网格搜索或随机搜索等方法调整模型参数，以提升模型性能。 8. **模型解释**： - 线性回归模型的系数可以直接解释...
ml_equations_latex:Latex中的经典ML方程有助于论文和博客写作
05-07
更好看sigmodsoftmaxrelu失利回归平均绝对误差（MAE） 均方误差（MSE） 胡贝尔损失分类交叉熵负对数似然铰链损失KL / JS分歧正则化L1正则化L2正则化指标分类精度，精确度，召回率，F1 敏感性，特异性和AUC 回归聚类...
MSE（L2损失）与MAE（L1损失）的分析
zzzz_123123的博客
02-09 5588
简单来说，MSE计算简便，但MAE对异常点有更好的鲁棒性。训练一个机器学习模型时，目标就是找到损失函数达到极小值的点。当预测值等于真实值时，这两种函数都能达到最小。 分析：MSE对误差取了平方（令e=真实值-预测值），因此若e>1，则MSE会进一步增大误差。如果数据中存在异常点，那么e值就会很大，而e²则会远大于|e|。因此，相对于使用MAE计算损失，使用MSE的模型会赋予异常点更大的权...
L1正则和L2正则的比较分析详解
热门推荐
Learning from the mistakes
09-20 4万+
感受 上次有个面试官问我l1正则和l2正则有什么区别，当时把我给问傻了，于是就回来找了资料写了这篇博客，我参照的是英文博客，吸取别人的长处，希望能帮助大家，如有错误或者需要补充的，欢迎指正，咱们共同进步   范数(norm） 数学上，范数是一个向量空间或矩阵上所有向量的长度和大小的求和。简单一点，我们可以说范数越大，矩阵或者向量就越大。范数有许多种形式和名字，包括最常见的：欧几里得距离（E...
回归损失函数: L1和L2比较
小花生的博客
05-07 4984
MSE vs MAE （L2损失 vs L1损失） 简而言之，使用平方误差更容易解决问题，但使用绝对误差对于异常值更鲁棒。我们来看一下为什么。 不管我们什么时候训练机器学习模型，我们的目标都是想找到一个点将损失函数最小化。当然，当预测值正好等于真值时，这两个函数都会达到最小值。 我们快速浏览一下这两种函数的Python代码。我们可以自己写函数，也可以用sklearn的内助度量函数： 代码： # t...
如何选择合适的损失函数，请看......
AI科技大本营
06-18 8909
翻译 | 张建军编辑 | 阿司匹林出品 | AI科技大本营【AI科技大本营导读】机器学习中的所有算法都依赖于最小化或最大化某一个函数，我们称之为“目标函数”。最小化的这组...
L1范数、L2范数、MAE、MSE、RMSE的定义及其在PyTorch中的计算方式
weixin_43185874的博客
10-19 6821
一范数：元素绝对值之和 二范数：元素平方和的平方根 MAE：Mean Absolute Error，平均绝对误差 MSE：Mean Square Error，均方误差
交叉熵和mse_常见的损失函数
weixin_34113453的博客
01-12 1098
1. 均方差损失 MSE Loss (L2 Loss)针对回归问题MSE也称为L2 loss：随着预测与真实值的绝对误差的增加，均方差损失呈二次方增加。MSE Loss2. 平均绝对误差损失 MAE Loss (L1 Loss)针对回归问题MAE LossMSE和MAE的区别MSE可以更快收敛：MSE的损失梯度为，MAE的损失梯度为+-1，也就是说MSE的梯度scale会随着误差大小变化，而MA...
代码随想录算法训练营第22天-leetcode-二叉树08：669. 修剪二叉搜索树；108.将有序数组转换为二叉搜索树；538.把二叉搜索树转换为累加树
最新发布
weixin_65180740的博客
07-24 908
你可能需要改变树的根节点，所以结果应当返回修剪好的二叉搜索树的新的根节点。给出二叉 搜索 树的根节点，该树的节点值各不相同，请你将其转换为累加树（Greater Sum Tree），使每个节点 node 的新值等于原树中大于或等于 node.val 的值之和。题目要求，实际上是每个节点加上中序排列后面的那个节点，故而可以反向中序排序，即RNL，用prior记录前一个节点的值，加上前一个节点的值即可。左右子树也必须是二叉搜索树。后序遍历每个节点，对于在范围外的节点，考虑保留其左子树/右子树（只可能保留一个）
L1损失函数和MAE损失函数是同一个东西吗？
02-28
L1损失函数和MAE损失函数是同一个东西。L1损失函数也被称为绝对值损失函数，它衡量了预测值与真实值之间的绝对差异。而MAE损失函数是Mean Absolute Error的缩写，也是衡量预测值与真实值之间的绝对差异的一种方法。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值