loss函数汇总

已于 2024-05-23 19:06:17 修改
阅读量440 收藏
点赞数
分类专栏： 深度学习 文章标签： 深度学习 机器学习 计算机视觉
于 2021-12-12 00:53:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011204487/article/details/121484276
版权

BCE loss

b这里指的是binary，二分类交叉熵损失。在使用BCELoss时需要在该层前面加上Sigmoid函数，公式如下：
在这里插入图片描述
缺点：正类别是训练的时候更加关注的部分，而错分的负类别没有被关注。？？？
https://www.zhihu.com/question/422946096/answer/1541228837

CE loss

CrossEntropyLoss，交叉熵损失。

Focal loss

何凯明大佬提出的。优点：它更加关注难样本。

Asymmetric Loss For Multi-Label Classification 2020 阿里达摩院

1、一种非对称损失，它在正负样本上有不同的操作。主要针对正负样本不平衡，对loss的影响应该不同。
2、提出硬阈值，硬阈值对正负样本极度不平衡的时候有效。

softmax loss
https://www.zhihu.com/question/294679135/answer/885285177
https://zhuanlan.zhihu.com/p/93054123
https://zhuanlan.zhihu.com/p/93054123
https://zhuanlan.zhihu.com/p/95793237

BlackEyes_SY
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
loss函数总结
weixin_38740463的博客
03-11 779
损失函数：损失项(loss term)和正则项(regularization term)组成 回归问题中: 1)MSE（L2损失） : 2)绝对值(L1 损失)： 3）Huber损失（平滑平均绝对误差）：，当小于一个事先指定的值时，变为平方损失，大于时，则变成类似于绝对值损失 总结： 1）使用绝对误差（MAE）对于异常值更鲁棒，MSE对于异常值更敏感 ...
损失函数
小猪真的真的真的要减肥了
06-16 7787
损失函数(loss function) = 误差部分(loss term) + 正则化部分(regularization term) 1. 误差部分 1.1 gold term,0-1损失函数,记录分类错误的次数 1.2 Hinge loss, 折叶损失,关于0的阀值 定义:E(z)=max(0,1-z) 应用: SVM中的最大化间隔分类,max-margin loss最大边界损
BCELoss（二分类交叉熵损失）
Major_S的博客
03-10 6944
BCELossBCELossBCELoss
多标签分类之非对称损失-Asymmetric Loss
年轻即出发，
02-26 1万+
论文：Asymmetric Loss For Multi-Label Classification GitHub：https://github.com/Alibaba-MIIL/ASL https://github.com/Alibaba-MIIL/TResNet 阿里巴巴 论文基于focal loss解决正负样本不平衡问题，提出了focal loss的改进版，一种非对称的loss，即Asymmetric Loss。 主要贡献： 设计了一个新颖的loss，解决了多标签分类任务中，..
计算机视觉之分类任务常用损失值loss对比分析
qq_42987894的博客
06-18 6137
计算机视觉分类任务常用损失值loss对比分析一、对比分析cross-entropy loss、Focal Loss、asymmetric_loss、GFocal Loss之间的关系及改进1. 分类任务介绍与损失函数如何设计的合理2.cross-entropy loss和Focal Loss的对比和改进3.asymmetric_loss的介绍与优点4.GFocal Loss介绍与优点 一、对比分析cross-entropy loss、Focal Loss、asymmetric_loss、GFocal Loss
Repulsion Loss Detecting Pedestrians in a Crowd
Leon_yixiao的博客
09-04 582
Contritutions: study the impact of crowd occlusion on pedestrian detection Two types of repulsion losses: RepGT Loss and RepBox Loss a crowd-robust pedestrian detector is trained end-to-end Lo...
qualcomm wifi kernel beacon loss 日志记录
weixin_34381687的博客
12-26 1036
记录一下高通对于beacon loss的处理的日志。方便后面再来分析。 04:17:13.397139 [04:17:13.383909] [000000A81699E7EC] [VosMC] wlan: [W :PMC] pmmExitBmpsResponseHandler: 882: Received SIR_HAL_EXIT_BMPS_RSP in correct state. 04:1...
softmax变种论文汇总
03-19
3. **Focal Loss**：Focal Loss由Lin等人提出，主要用于解决类别不平衡问题。它通过引入一个调制项来降低易分类样本的贡献，使模型更加关注难分类样本。这在目标检测等领域非常有效，减少了大量背景类别的干扰。 4....
人脸识别论文汇总.zip
02-16
5. **ArcFace**：ArcFace（Additive Angular Margin Loss for Deep Face Recognition）是最近提出的一种先进方法，其改进在于损失函数中加入了余弦角度的 margin。这种设计使得模型在训练过程中能更好地区分不同类别...
Tensorflow资料汇总.zip
06-17
- **损失函数（Loss Functions）**: 如均方误差、交叉熵等，用于衡量模型预测与真实结果的差距。 - **优化器（Optimizers）**: 梯度下降、随机梯度下降（SGD）、Adam、RMSprop 等用于更新模型参数。 - **正则化...
pytorch-CNN网络汇总.zip
07-04
6. **损失函数（Loss Functions）**：根据任务的不同，可以选择不同的损失函数。例如，对于多类分类任务，常用交叉熵损失`nn.CrossEntropyLoss`；对于回归任务，可能使用均方误差损失`nn.MSELoss`。 7. **优化器...
svm的一些入门资料汇总
05-02
与分类任务类似，它寻找最小误差的超平面，但误差被定义为ε-insensitive loss函数，允许在指定的误差范围内出现误差。 5. 软间隔与松弛变量： 在实际应用中，数据可能存在噪声或不纯，使得完全满足最大间隔条件的...
深度学习——常见损失函数Loss：L1 ，L2 ，MSE ，Binary Cross ，Categorical Cross ，Charbonnier ，Weighted TV ，PSNR
最新发布
qq_40280673的博客
11-08 1万+
在深度学习中，损失函数是一个核心组件，它度量模型的预测结果与真实值之间的差异。通过最小化损失函数的值，模型能够在训练过程中逐渐改善其性能。损失函数为神经网络提供了一个明确的优化目标，是连接数据和模型性能的重要桥梁。
模型训练——Loss函数 归纳汇总
wsy1234567890的博客
11-24 7270
上一篇文章《语音降噪模型归纳汇总》是在知乎写的第一篇文章，很意外地收到了点赞收藏和关注，如此的反馈给了我极大的鼓舞，这里就再梳理了一下loss函数相关的知识，以求方便能作为一份工具性质的文章展现出来。能力一般，水平有限，欢迎大家指正。 干货分享：欢迎收藏点赞加关注 目录 前言 什么是损失（Loss）？ 预测值（估计值）与实际值（预期值、参考值、ground truth）之间会存在差异, “损失”意味着模型因未能产生预期结果而受到的惩罚。 损失函数的作用？ 损失函数将通过比较模型的预测输出和预期输出来确定
Pytorch损失函数之BCELoss与BCEWithLogitsLoss
MacKendy的博客
05-24 7731
1.先说结论 nn.BCEWithLogitsLoss等于nn.BCELoss+nn.Sigmoid。 主要用于二分类问题，多标签分类问题。 图为Pytorch Document对于BCEWithLogitsLoss的描述，这个损失函数结合了Sigmoid和BCELoss。 2.公式分解 BCEWithLogitsLoss 假设有N个batch，每个batch预测n个标签，则Loss为： Loss={l1,...,lN}, ln=−[yn⋅log⁡(σ(xn))+(1−yn)⋅log⁡(1−
深度学习中常见的loss函数汇总
迷路的咸鱼的博客
05-19 1万+
  损失函数(Loss Function)分为经验风险损失函数和结构风险损失函数，经验风险损失函数反映的是预测结果和实际结果之间的差别，结构风险损失函数则是经验风险损失函数加上正则项(L1或L2)。深度学习中的损失函数被用于模型参数的估计，通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。   机器学习任务中的损失函数可以大体分为两种类型：回归损失和分类损失。在此基础上，在深度学习任务中又发展了很多不同的损失函数，由于在网络训练过程中损失函数指导着网络的学习，因此选择合适的损失函数也很重
损失函数loss大总结
热门推荐
年轻即出发，
06-23 11万+
分类任务loss: 二分类交叉熵损失sigmoid_cross_entropy： TensorFlow 接口： tf.losses.sigmoid_cross_entropy( multi_class_labels, logits, weights=1.0, label_smoothing=0, scope=None, loss_c...
深度学习论文中常见loss函数汇总（tensorflow代码实现）
David's Tweet
04-08 7237
1、Softmax交叉熵损失函数（多分类） 参考 （1）定义 def get_softmax_loss(features,one_hot_labels): prob = tf.nn.softmax(features + 1e-5) cross_entropy = tf.multiply(one_hot_labels,tf.log(tf.clip_by_value(...
LRN
Black eyes的博客
07-24 1万+
LRN全称为Local Response Normalization，即局部响应归一化层，具体实现在CAFFE_ROOT/src/caffe/layers/lrn_layer.cpp和同一目录下lrn_layer.cu中。   该层需要参数有： norm_region： 选择对相邻通道间归一化还是通道内空间区域归一化，默认为ACROSS_CHANNELS，即通道间归一化； local_si
人脸识别损失函数汇总
08-17
其中一些常见的损失函数包括ArcFace、SphereFace、CosFace、AMSoftmax、Circle-Loss、DiscFace等等。这些损失函数的共同目标是通过计算人脸特征之间的距离或相似度来最大化同一身份的特征间的距离，最小化不同身份的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值