Focal loss 中两个加权参数的原理和产生的影响

最新推荐文章于 2023-09-18 20:23:49 发布
最新推荐文章于 2023-09-18 20:23:49 发布
阅读量6.3k 收藏 19
点赞数 8
文章标签： 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangyehuisw/article/details/106216283
版权

首先需要明确一个在损失函数中的加权细节：想要在损失函数中对样本进行加权，那么加权的思路应该要是逆向的。因为损失函数的优化目标是越小越好，所以你越想保护的部分应该给予小权重，使得这部分可以大。而越想惩罚的部分，应该给予大权重，这样强制让他们只能是小的。

 

Focal loss ：FL(p_t)=\begin{cases} -\alpha (1-p)^{\gamma}log(p) & \text{ if } y=1 \\ -(1-\alpha)p^{\gamma}log(1-p) & \text{ if } otherwise \end{cases} 。里面最核心的两个参数 \alpha 和 \gamma。 

 

其中 \alpha 类似与class weight 给类别加权重。如果 y = 1 类样本个数大于 y = 0， 那么 \alpha 应该小于 0.5，保护样本少的类，而多惩罚样本多的类。结论是样本越不平衡，\alpha 应该越靠近 0 或者 1。

而 \gamma 的作用是竟然把难例分开，这个参数越大，导致的后果是预测的概率值越偏向于0～1的两端。具体推理如下图所示：

 

yafee123
关注
  • 8
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
Pytorch 实现focal_loss 多类别和二分类示例
09-18
今天小编就为大家分享一篇Pytorch 实现focal_loss 多类别和二分类示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
FocalLoss 对样本不平衡的权重调节和减低损失值
史蒂夫方
09-11 6058
最近因为在做图像分类考虑到一些样本不平均的问题 所以有机会尝试了一下FocalLoss这个损失函数（由Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, Piotr Dollár提出） 也重新的理解了一次这个损失函数是如何运作 首先我们要知道FocalLoss诞生的原由，要解决什么样的问题？ 解决问题 针对one-stage的目标检测框架（例...
Focal Loss的Pytorch实现及测试完整代码
05-22
Focal Loss的Pytorch实现及测试完整代码，适合深度学习，计算机视觉的人群
Focal Loss详解以及为什么能够提高处理不平衡数据分类的表现
deephub
07-01 2万+
不同γ设置的损失曲线 Kaggle竞赛:SIIM-ISIC黑素瘤分类中，必须输出两类皮肤癌的皮肤病变图像中黑色素瘤的概率。因此它是一种二值图像分类任务。评价标准是AUC(曲线下面积)度量。首先，我研究了一个用交叉熵作为损失函数的模型。在网上搜索之后，我发现了这篇论文，Facebook AI research(FAIR)的团队引入了一个新的损失函数——Focal loss。 我用这个损失函数得到了一个很好的AUC分数(92+)，所以我决定讨论一下这个损失函数。 目标检测器 在讨论Focal Loss之前，让.
目标检测——Focal Loss
PRIS-SCMonkey的博客
03-29 997
【Paper】Focal Loss for Dense Object Detection 1. Background of object detection 首先我们回顾单阶段目标检测(One-Stage)是如何实现的： 上图是YOLO的框架针对一张图片featuremap的变化，可以看到，网络输出的结果是对所有预设集合的分类与回归。 总损失函数如下： (1)L(pi,ti)=1Ncls∑i...
一文读懂Focalloss
weixin_42273095的博客
05-15 6457
Focal loss解决了什么问题？降低易分样本权重、增加难分样本的权重训练。
加权损失函数
ucas_v博客
05-23 1213
在实际应用中，加权损失函数通常用于解决类别不平衡的问题，即某些类别的样本数量很少，导致模型在训练和测试时对这些类别的分类准确率较低。通过设置合适的权重，可以提高模型对这些类别的分类准确率。加权损失函数是在标准损失函数的基础上引入了权重，用于在训练模型时对不同的样本或不同的类别赋予不同的重要性。越大，表示该类别的重要性越高，在训练模型时应该更加关注该类别的分类准确率。越小，表示该类别的重要性越低，在训练模型时可以更加宽松地处理该类别的分类准确率。，用于赋予不同样本或不同类别不同的重要性。
focal loss详解
うさぎ的博客
09-09 1672
focal loss详解
Focal Loss介绍
chase
06-11 1976
Focal Loss介绍
加权交叉熵损失函数
最新发布
PLANTTHESON的博客
09-18 2727
在图像分类任务中，为解决不平衡样本问题，在交叉熵损失函数的基础上加入每个类别的类别权重，能有效地减少样本不平衡问题。
pytorch实现focal loss的两种方式小结
09-18
今天小编就为大家分享一篇pytorch实现focal loss的两种方式小结，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
focal loss曲线-python
08-14
通过python脚本构造focal loss曲线；焦点损失函数是重加权的一个典型代表，被广泛应用于目标检测和语义分割。
focal loss
01-10
读Focal Loss for Dense Object Detection这篇论文 做的一个总结讲解ppt
focal-loss-keras:Keras中的二进制和分类焦点损失实现
05-14
model.compile（损失= [binary_focal_loss（alpha = .25，gamma = 2）]，指标= [“准确性”]，优化程序= adam） 分类的 model.compile（损失= [categoical_focal_loss（alpha = [[。25，.25，.25]]，gamma = 2）]，...
Focal Loss for Dense Object Detection
12-03
loss assigned to well-classified examples. Our novel Focal Loss focuses training on a sparse set of hard examples and prevents the vast number of easy negatives from overwhelm- ing the detector during...
损失函数：Focal Loss
那年聪聪
02-08 1万+
Focal Loss解决两个问题：1> 正负样本不平衡; 2>easy和hard examples不平衡问题。
了解focal loss
shitoucoming的博客
09-10 192
Focal Loss理解 1. 总述 Focal loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重，也可理解为一种困难样本挖掘。   2. 损失函数形式 Focal loss是在交叉熵损失函数基础上进行的修改，首先回顾二分类交叉上损失： 是经过激活函数的输出，所以在0-1之间。可见普通的交叉熵对于正样本而言，输出概率越大损失越小。对于负样本而言，输出概率越小则损失越小。...
深度学习系列之Focal Loss个人总结
热门推荐
LeeWanzhi的博客
04-24 2万+
1. Introduction object detection按其流程来说，一般分为两大类。一类是two stage detector(如非常经典的Faster R-CNN)，另一类则是one stage detector(如SSD、YOLO系列)。 虽然one stage detector检测速度可以完爆two stage，但是mAP却干不过two stage。 So，Why？ the...
Focal Loss总结
orangerfun的博客
07-31 1357
1. intro Focal loss主要是为了解决样本不均衡问题，该损失函数降低了大量简单负样本在训练中所占的权重，也可理解为一种困难样本挖掘。 2. 基本原理 2.1 二分类损失函数 L=−ylogy′−(1−y)log⁡(1−y′)={−log⁡y′y=1−log⁡(1−y′),y=0\mathrm{L}=-\mathrm{ylogy}^{\prime}-(1-y) \log \left(1-y^{\prime}\right)=\left\{\begin{array}{ll} -\log y^{\pr
focal loss代码pytorch
05-14
以下是 PyTorch 中实现 Focal Loss 的代码： ```python import torch import torch.nn as nn import torch.nn.functional as F class FocalLoss(nn.Module): def __init__(self, gamma=2, alpha=None, size_average=True): super(FocalLoss, self).__init__() self.gamma = gamma self.alpha = alpha if isinstance(alpha, (float, int)): self.alpha = torch.Tensor([alpha, 1 - alpha]) if isinstance(alpha, list): self.alpha = torch.Tensor(alpha) self.size_average = size_average def forward(self, input, target): if input.dim() > 2: input = input.view(input.size(0), input.size(1), -1) # N,C,H,W => N,C,H*W input = input.transpose(1, 2) # N,C,H*W => N,H*W,C input = input.contiguous().view(-1, input.size(2)) # N,H*W,C => N*H*W,C target = target.view(-1, 1) logpt = F.log_softmax(input) logpt = logpt.gather(1, target) logpt = logpt.view(-1) pt = logpt.data.exp() if self.alpha is not None: if self.alpha.type() != input.data.type(): self.alpha = self.alpha.type_as(input.data) at = self.alpha.gather(0, target.data.view(-1)) logpt = logpt * at loss = -1 * (1 - pt) ** self.gamma * logpt if self.size_average: return loss.mean() else: return loss.sum() ``` 可以看到，该代码中首先定义了一个 `FocalLoss` 类，该类继承自 PyTorch 中的 `nn.Module` 类，因此我们可以直接使用该类来定义我们的 Focal Loss 模型。 在 `__init__()` 方法中，我们定义了两个超参数 `gamma` 和 `alpha`。其中 `gamma` 的值默认为 2，即 Focal Loss 中的调节因子。`alpha` 表示每个类别的权重，如果 `alpha` 是一个浮点数，则表示正样本的权重，负样本的权重为 1 - `alpha`。如果 `alpha` 是一个列表，则它的长度应该等于类别数，每个元素表示每个类别的权重。 在 `forward()` 方法中，我们首先将输入的 `input` 和 `target` 二者都展平成一维向量，然后计算损失函数。具体而言，我们首先对 `input` 进行 softmax 操作，然后取出对应类别的概率值 `pt`，接着根据 `alpha` 权重计算加权的对数概率值 `logpt`。最后根据 Focal Loss 的公式计算损失，并返回平均值或总和。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值