Focal Loss for Dense Object Detection

最新推荐文章于 2024-04-16 20:27:42 发布
最新推荐文章于 2024-04-16 20:27:42 发布
阅读量200 收藏
点赞数
分类专栏： 检测算法 损失函数 文章标签： Focus Loss RetinaNet
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hzhj2007/article/details/89973605
版权

论文通过对比一阶段和二阶段检测算法结果的差异发现，样本不均衡是导致one-stage detectors效果不如two-stage detectors好的主要原因。因为后者的分类器是针对少量样本(如RPN得到的区域)进行学习后得到的性能较好的分类器，而一阶段分类器受到大量负样本损失值的影响，训练后的判定性能不如二阶段分类器。作者基于此重新优化了损失函数，进而解决样本不均衡带来的影响。

  • 论文中从二分类的交叉熵损失函数入手，形式如下。CE损失函数有个明显的特点是即使预测置信度较大时，由ce得到的损失值也不小。这样总的损失值中数量较少类别的损失值将占很小比例，因为大量预测置信度较大样本的损失值求和后的值依然很大。(论文是想通过损失函数解决样本数量不均衡的问题，只是此处将易分类样本和样本数量多的类别间接划上了等号)。

CE(p,y)=\left\{\begin{matrix} -log(p) \\ -log(1-p)) \end{matrix}\right. \begin{matrix} if y=1\\otherwise \end{matrix}

  • 通常处理样本不均衡问题时，会在对应类别的损失值前添加权重\alpha。其中\alpha由样本频率或交叉验证得到。此时损失函数的形式如下。

CE(p{_{t}})=-\alpha {_{t}}log(p{_{t}})

  • 上述损失函数中仅考虑了正负样本数量带来的影响，并没有考虑由样本分类的难易程度带来的影响。因次才有了本论文对损失函数的进一步改进，得到如下损失函数。

FL(p{_{t}})=-(1-p{_{t}}){^{\gamma }}log(p{_{t}})      

改进后的Focus Loss有两个性质：误分类样本的损失值几乎不受影响，另一方面减小了正确分类且分类置信度较高样本损失值的权重；\gamma可平滑的调节易分类样本损失值的权重，即随着\gamma的增大，调节因子(1-p{_{t}}){^{\gamma }}的值也在增加。

 

交叉熵损失函数的基本形式不变，但是可以通过修改预测概率p{_{t}}的值(如人脸损失函数的各种变体)和损失值的权重(如Focus Loss)对其进行改进，从而得到分类性能更好的网络。

 

参考文献：

  1. Focal Loss for Dense Object Detector

 

hzhj
关注
专栏目录
Focal Loss for Dense Object Detection（RetinaNet）论文及代码解析
Jamence的博客
05-18 525
@[TOC](Focal Loss for Dense Object Detection(RetinaNet)论文及代码解析) Focal Loss for Dense Object Detection(RetinaNet)论文及代码解析 本文针对Focal Loss for Dense Object Detection做出自己的判断和解析，不一定代表正确性（鄙人并不做目标检测。。。） 论文下载链接（arxiv国内镜像）：http://xxx.itp.ac.cn/pdf/1708.02002v2 论文代码
FocalLoss:多类分类的焦点损失
05-02
焦点损失 多类分类的焦点损失
Focal Loss
qq_39068872的博客
06-11 1122
目前one-stage的目标检测方法要比two-stage的目标检测方法精度要低,主要原因就是正负样例的不均衡,two-stage 例如Faster rcnn,可以通过rpn层对anchor进行过滤,找出相对准确,正负样例均衡的标签进行 训练,同事可以使用在线难例挖掘(OHEM) 正负样例1:3 对样本进行筛选,而one-stage的方法则不可以. ...
Focal Loss理解
fly_time2012的专栏
03-11 4973
1. 总述 Focal loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重，也可理解为一种困难样本挖掘。 2. 损失函数形式 Focal loss是在交叉熵损失函数基础上进行的修改，首先回顾二分类交叉上损失： 是经过激活函数的输出，所以在0-1之间。可见普通的交叉熵对于正样本而言，输出概率越大损失越小。对于负样本而言，输出概率越小则损失越小。此时的损失函数在大量简单样本的迭代过程中比较缓慢且可能无法优化至最优。那
【目标检测】Focal Loss
最新发布
研究兴趣：开放集识别、开放世界识别、新类发现、增量学习、少样本学习
04-16 843
Focal Loss概念、作用
RetinaNet论文详解Focal Loss for Dense Object Detection
yanghao201607030101的博客
11-24 637
一、论文相关信息 ​ 1.论文题目：Focal Loss for Dense Object Detection ​ 2.发表时间：2017 ​ 3.文献地址：https://arxiv.org/pdf/1708.02002.pdf 4.论文作者: Tsung-Yi Lin, Kaiming He ​ 5.论文源码：code:https://github.com/facebookresearch/Detectron. 二、论文详情 背景与简介 目前最高的检测器是以R-CNN开启的two-stage检测方法，这
焦点损失函数 Focal Loss 与 GHM
热门推荐
忽逢桃林的博客
07-31 1万+
文章来自公众号【机器学习炼丹术】 1 focal loss的概述 焦点损失函数 Focal Loss（2017年何凯明大佬的论文）被提出用于密集物体检测任务。 当然，在目标检测中，可能待检测物体有1000个类别，然而你想要识别出来的物体，只是其中的某一个类别，这样其实就是一个样本非常不均衡的一个分类问题。 而Focal Loss简单的说，就是解决样本数量极度不平衡的问题的。 说到样本不平衡的解决方案，相比大家是知道一个混淆矩阵的f1-score的，但是这个好像不能用在训练中当成损失。而Focal loss可
何恺明大神的「Focal Loss」，如何更好地理解？
weixin_40581617的博客
12-29 1220
前言 今天在 QQ 群里的讨论中看到了 Focal Loss，经搜索它是 Kaiming 大神团队在他们的论文Focal Loss for Dense Object Detection 提出来的损失函数，利用它改善了图像物体检测的效果。不过我很少做图像任务，不怎么关心图像方面的应用。 本质上讲，Focal Loss 就是一个解决分类问题中类别不平衡、分类难度差异的一个 loss，总之这
Pytorch实现多分类问题样本不均衡的权重损失函数 FocusLoss
qq1803291168
04-16 9576
# Pytorch实现多分类问题样本不均衡的权重损失函数FocusLoss
pytorch实现Focal Loss
Major_S的博客
04-30 1851
FocalLossFocal LossFocalLoss import torch import torch.nn as nn import torch.nn.functional as F from torch.autograd import Variable class FocalLoss(nn.Module): def __init__(self, class_num, alpha=None, gamma=2, size_average=True): super(Focal
转：[论文阅读]：Focal Loss for dense Object Detection
sduati的专栏
11-30 225
    在2D的图像检测的任务中，一种有一个比较明显的问题就是前后景数量上巨大的不平衡，背景一般远远多余前景（也就是目标），这就导致一个问题，就是背景相关的梯度几乎统治了梯度的传播过程，本文提出的Focal Loss 就是试图对损失函数的形态进行更改，从而达到平衡前后景相关的loss在梯度传播中的程度。 Abstract 在 目标检测的任务中，one-stage 的方法在规则、密集采样下拥...
一、Focal Loss理论及代码实现
Freeloop_hg的博客
04-02 1820
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、基本理论二、实现1.公式2.代码实现总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、基本理论 1.采用soft - gamma： 在训练的过程中阶段性的增大gamma 可能会有更好的性能提升。 2.alpha 与每个类别在训练数据中的频率有关。
深度学习loss
sxk20091111的专栏
12-21 1614
深度学习loss大体上分成两类分类loss和回归loss。 回归loss：平均绝对误差L1loss，平均平方误差L2loss， smooth L1 loss 分类loss ： 0-1损失， logistic loss, hinge loss 铰链损失， exponential loss（指数损失）， KL散度。 回归loss L1 loss 在loss为0处不可导，求解效率比较低 梯度比较稳定，在损失很小的时候梯度也是稳定的不利于收敛 由于没有平方对于异常不敏感。 L2 loss ...
Focal Loss for Dense Object Detection笔记
gongpanhao的博客
04-17 498
Focal Loss for Dense Object Detection--目的：目前目标检测的框架一般分为两种，基于候选区域的two-stage的检测框架（稀疏的候选目标位置）和基于回归的one-stage的检测框架（可能的目标位置上常规密集的采样），two-stage的精度高速度慢，one-stage的速度快但是精度稍低。导致其精度低的原因是密集检测器训练时简单-困难两类样本极度不平衡，因此...
损失函数focal loss深度理解与简单实现
weixin_41041772的博客
06-30 1846
本文主要从二值交叉熵损失函数出发，通过代码实现的方式，去更好地理解Focal Loss对于数据不平衡问题、难易样本问题损失是如何权衡的。
从FocalLoss到hardsample
大泽之国
06-01 3075
Focus Loss 何凯明大神在2017年的论文中提出Focus loss 论文 Focus Loss是一种处理深度学习中正负样本不均衡的方法. 它并没有固定形式,应该算是一种思路: 降低non-hard-sample的loss, 提高hard-sample的loss. 以二分类cross entropy loss为例 L(y,y0)=−log(Py)L(y,y0)=−log(Py...
将focal loss添加到你的网络框架当中（caffe 版本）
wei_guo_xd的博客
01-15 4627
1.https://github.com/Longqi-S/Focal-Loss下载focal-loss-master.zip 2.解压focal-loss-master.zip，得到softmax_focal_loss_layer.cpp, softmax_focal_loss_layer.cu和 softmax_focal_loss_layer.hpp 3.将softmax_focal_l
focal loss for dense object detection
03-16
Focal loss是用于密集目标检测的损失函数。它主要用于解决分类器对背景类和目标类的不平衡问题，即解决分类器对背景类的过度拟合问题。Focal loss通过引入焦点系数来降低对背景类的损失贡献，从而提高模型对目标类的识别率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值