pytorch学习笔记 | Focal loss的原理与pytorch实现

最新推荐文章于 2024-08-14 17:11:04 发布
最新推荐文章于 2024-08-14 17:11:04 发布
阅读量4.7k 收藏 31
点赞数 8
分类专栏： AI CV DL pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CVSvsvsvsvs/article/details/90297238
版权
本文介绍了Focal Loss的原理，旨在解决目标检测任务中正负样本不平衡问题。通过数学定义和损失函数意义阐述其设计思想，并提供了PyTorch实现的简单代码示例。
摘要由CSDN通过智能技术生成

Focal 原理简述

Focal loss是一个针对单阶段物体检测任务中正负样本不均衡而提出来的损失函数，论文地址来自arxiv

数学定义

先放focal loss（FL）和cross entropy（CE）两个函数的数学定义。
其中 p 为概率，而 y 为 0 或 1 的标签。

可以看到focal loss的设计很简单明了，就是在标准交叉熵损失函数的引入一个因子 ( 1 − p t ) λ (1 - p_t)^\lambda (1−pt​)λ， λ = 0 \lambda= 0 λ=0时，损失函数就是标准交叉熵 。

损失函数意义

focal loss 称为焦点损失函数，通过改进标准的二元交叉熵损失函数来控制对正负样本的训练，为了解决在one-stage目标检测中正负样本严重不均衡的一种策略。该损失函数的设计思想类似于boosting，降低容易分类的样本对损失函数的影响，注重较难分类的样本的训练。

在常规的交叉熵函数的基础上，添加一个系数项，其影响从下图曲线来看可知：

  • 当样本的预测分数较高（ p t p_t pt
最低0.47元/天 解锁文章
qyhyzard
关注
专栏目录
『NLP学习笔记』Cross Entropy Loss 的硬截断、软化到 Focal Loss
AI新视界
04-12 1687
对于二分类模型，我们总希望模型能够给正样本输出 1，负样本输出 0，但限于模型的拟合能力等问题，一般来说做不到这一点。而事实上在预测中，我们也是认为大于 0.5 的就是正样本了，小于 0.5 的就是负样本。这样就意味着，我们可以 “有选择” 地更新模型，比如，设定一个阈值为 0.6，那么模型对某个正样本的输出大于 0.6，我就不根据这个样本来更新模型了，模型对某个负样本的输出小于 0.4，我也不根据这个样本来更新模型了，只有在 0.4~0.6 之间的，才让模型更新，这时候模型会更 “集中精力” 去关心那些
目标检测的Tricks | 【Trick3】IoU loss与focal loss（包含一些变体介绍）
Clichong
04-17 2812
如有错误，恳请指出。 这里介绍一下IoU loss与focal loss函数，之前的文章也有提及到，这里就不再过多的细说了。简单来说： IoU loss：用来计算pred box与ground true之间的差异，用来边界框损失函数的计算； focal loss：用来平衡正负样本不均衡的问题，由RetinaNet提出使用与One-Step目标检测算法上的一个技巧 关于这两部分的详细介绍可以见之前的博文：YOLOv4中的tricks概念总结——Bag of freebies 然后，后续有不少大佬对fo.
Focal loss的pytorch版本实现
朴素.无恙的博客
06-10 3892
import torch import torch.nn as nn from torch.autograd import Variable import torch.utils.data as Data import torchvision import numpy as np import matplotlib.pyplot as plt import torch.nn.funct...
【DL】FocalLoss的PyTorch实现
Mocode的博客
05-10 461
PyTorch计算FocalLoss的两种方式。
一文理解多标签分类损失函数ASL(Asymmetric Loss)
最新发布
Thomas_Cai的记忆殿堂
08-14 1172
一文理解asl，从ce到focal loss到asl
焦点损失函数 Pytorch实现
雅痞匪徒(Nike)的博客
11-04 2587
看了一篇论文，然后这篇论文里面就只是将损失函数从常见的单分类多分类函数转化为了焦点损失函数，看论文里面的效果，效果还出奇的好，很奇怪，难道就只是改一个损失函数就这么牛逼？于是，我也想着把之前的网络的损失函数改一改，看看这个损失函数是否是真的这么牛逼。 pytorch自带的损失函数中，我没有找到对应的焦点损失函数的接口，没办法，只能去看原理然后参考其他人的代码改改或者写吧，找到几个实现焦点损失函数的大佬代码，但是总感觉他们的代码有些奇怪。比如：pytorch实现焦点函数比较靠谱的参考，这个作者给的代码，我如果
focal_loss 多类别和二分类 Pytorch代码实现
热门推荐
Mrhan的博客
06-12 1万+
import numpy as np import torch import torch.nn as nn import torch.nn.functional as F # 支持多分类和二分类 class FocalLoss(nn.Module): """ This is a implementation of Focal Loss with smooth label cr...
pytorch实现Focal Loss
Major_S的博客
04-30 1851
FocalLossFocal LossFocalLoss import torch import torch.nn as nn import torch.nn.functional as F from torch.autograd import Variable class FocalLoss(nn.Module): def __init__(self, class_num, alpha=None, gamma=2, size_average=True): super(Focal
Yolov3模型——pytorch实现
Peach_____的博客
01-25 678
【代码】Yolov3模型——pytorch实现。
【MMDetection 系列：三】Loss 函数详解 + Pytorch 实现
鹿鹿的博客
12-03 1万+
Reference https://zhuanlan.zhihu.com/p/40284001 https://blog.csdn.net/weixin_41665360/article/details/100126744 https://github.com/open-mmlab/mmdetection https://github.com/thangvubk/Cascade-RPN （bas...
FocalLoss:多类分类的焦点损失
05-02
焦点损失 多类分类的焦点损失
Pytorch-Triplet_loss:用Pytorch实现三重损失
05-16
派托克三重损失 用Pytorch实现三重损失
pytorch实现Focal Loss系列损失函数(针对SOT中的定位问题)，包括Focal Loss、GFocal Loss、VFocal Loss
qq_39276007的博客
04-27 4027
Focal Loss系列损失函数包括Focal Loss、GFocal Loss、VFocal Loss
样本不平衡 pytorch_FocalLoss 对样本不平衡的权重调节和减低损失值
weixin_39531604的博客
11-21 244
最近因为在做图像分类考虑到一些样本不平均的问题所以有机会尝试了一下FocalLoss这个损失函数（由Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, Piotr Dollár提出）也重新的理解了一次这个损失函数是如何运作首先我们要知道FocalLoss诞生的原由，要解决什么样的问题？解决问题针对one-stage的目标检测框架（例如SSD,...
『PyTorch』损失函数
七秒钟的记忆
02-25 1497
列出PyTorch常用损失函数，直到大概作用再详细自己查吧
焦点损失函数 Focal Loss 与 GHM
忽逢桃林的博客
07-31 1万+
文章来自公众号【机器学习炼丹术】 1 focal loss的概述 焦点损失函数 Focal Loss（2017年何凯明大佬的论文）被提出用于密集物体检测任务。 当然，在目标检测中，可能待检测物体有1000个类别，然而你想要识别出来的物体，只是其中的某一个类别，这样其实就是一个样本非常不均衡的一个分类问题。 而Focal Loss简单的说，就是解决样本数量极度不平衡的问题的。 说到样本不平衡的解决方案，相比大家是知道一个混淆矩阵的f1-score的，但是这个好像不能用在训练中当成损失。而Focal loss可
Focal Loss原理解读以及Pytorch实现
weixin_41693877的博客
06-11 2116
论文：Focal Loss for Dense Object Detection 论文链接：https://arxiv.org/abs/1708.02002 Focal Loss这篇文章是He Kaiming和RBG发表在ICCV2017上的文章，详细的论文地址在上面，这里记录下我学习过程，下面我参考的几篇博客 Focal Loss Focal Loss论文阅读 - Focal Loss for Dense Object Detection 如何评价Kaiming的Focal Loss for Dense
使用pytorch实现focal loss
04-12
好的，使用 PyTorch 实现 Focal Loss 可以帮助解决分类问题中的类不平衡问题，提高模型的准确率和鲁棒性。具体实现可以参考以下代码： ``` import torch.nn as nn import torch class FocalLoss(nn.Module): def __init__(self, alpha=1, gamma=2): super(FocalLoss, self).__init__() self.alpha = alpha self.gamma = gamma def forward(self, inputs, targets): BCE_loss = nn.CrossEntropyLoss(reduction='none')(inputs, targets) pt = torch.exp(-BCE_loss) F_loss = self.alpha * (1-pt)**self.gamma * BCE_loss return F_loss.mean() ``` 使用时，只需将该自定义 Loss 传入模型即可，例如： ``` model = Classifier() loss_fn = FocalLoss(alpha=0.25, gamma=2) optimizer = torch.optim.Adam(model.parameters(), lr=0.001) for epoch in range(num_epochs): for input, target in train_loader: output = model(input) loss = loss_fn(output, target) optimizer.zero_grad() loss.backward() optimizer.step() ``` 希望能对您有所帮助！
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值