从FocalLoss到hardsample

最新推荐文章于 2024-04-01 11:34:23 发布
最新推荐文章于 2024-04-01 11:34:23 发布
阅读量3k 收藏 7
点赞数 3
分类专栏： 三省吾身 文章标签： focus loss hard sample machine learning deep learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/z0n1l2/article/details/80538918
版权
本文探讨了Focal Loss在处理深度学习正负样本不平衡问题中的应用，以及Hard Sample在SVM、Adaboost、神经网络中的角色。Focal Loss通过降低易分类样本的损失，强调难例样本的损失，提高训练效率。同时，文章还讨论了如何在SVM和Adaboost中利用Hard Sample提升模型性能。
摘要由CSDN通过智能技术生成

Focal Loss

何凯明大神在2017年的论文中提出Focal loss 论文
Focal Loss是一种处理深度学习中正负样本不均衡的方法. 它并没有固定形式,应该算是一种思路: 降低non-hard-sample的loss, 提高hard-sample的loss. 以二分类cross entropy loss为例
L ( y , y 0 ) = − l o g ( P y ) L(y,y_0) = -log(P_y) L(y,y0​)=−log(Py​)
其中
P y = P i f   y 0 = 1 P_y = P \quad if\ y_0 = 1 Py​=Pif y0​=1
P y = 1 − P i f   y 0 = 0 P_y = 1-P \quad if\ y_0 = 0 P

最低0.47元/天 解锁文章
z0n1l2
关注
专栏目录
YOLOv8改进 | 损失函数篇 | InnerIoU、InnerSIoU、InnerWIoU、FocusIoU等损失函数
走向CTO的路上...
07-05 1168
YOLOv8作为目前主流的目标检测算法之一，其基础模型结构高效、易于部署，但仍存在一些可以优化的空间。其中，损失函数是影响模型性能的关键因素之一，选择合适的损失函数可以显著提升模型的精度和鲁棒性。本文将对YOLOv8中新引入的InnerIoUInnerSIoUInnerWIoUFocusIoU等损失函数进行详细介绍，并解释其原理、应用场景、文献材料链接、应用示例产品、总结、影响以及未来扩展方向。本文介绍了YOLOv8中新引入的InnerIoUInnerSIoUInnerWIoUFocusIoU。
focal loss和retinanet
yang_daxia的博客
05-30 786
focal loss主要解决proposal中多个bbox的框样本样本不平衡. 如上图, 比如出100000个框, 实际物体100个, 每一个loss 为2.3, 剩余的每一个loss为0.1,但是数量还是太多, 那么(100*2.3)/(10000*0.1)大约为40倍, 所以要降低esay examples(一般增加难分类的权重,这里降低是因为, esay example数量太多导致总的...
用首次训练获得的SVM在负样本原图上检测HardExample
11-14
用首次训练获得的SVM在负样本原图上检测HardExample并保存为文件。 使用时请自行修改工程的include目录和lib目录配置。
Hard samples mining
sophia_xw的博客
12-03 1312
在讨论hard samples mining之前，有两个概念需要疏通下。 #1，IoU 见博文，https://blog.csdn.net/iamoldpan/article/details/78799857 简而言之，IoU就是数学集合论中的两个集合的并集。 #2，非极大值抑制 参考博文，https://www.cnblogs.com/liekkas0626/p/5219244.htm...
hard sampling
yuanchheneducn的博客
01-06 2612
1. Hard-Aware Deeply Cascaded Embedding 作者：北京大学 Yuhui Yuan等 有code:https://github.com/PkuRainBow/Hard-Aware-Deeply-Cascaded-Embedding_release 摘要：每一个样本有不同的困难级别，设计一个模型融合的方式分别用不同级别的困难样本进行训练。 最后
hard example
wmonica121的专栏
01-30 1012
在训练数据时，会涉及到一些hard example（困难样本/难例） 比较有用的网址有如下： http://blog.163.com/pz124578%40126/blog/static/235226942013435156379/ http://blog.csdn.net/masibuaa/article/details/16105073 http://blog.csdn.net
Hard-sample Guided Hybrid Contrast Learning for Unsupervised Person Re-Identification
qq_44935078的博客
04-10 4221
Hard-sample Guided Hybrid Contrast Learning for Unsupervised Person Re-Identification（CVPR2021)
Focal Loss
lynne233
03-23 255
Focal Loss是在论文Focal Loss for Dense Object Detection中提到，主要是为了解决one-stage目标检测中样本不均衡的问题。因为最近工作中也遇到了样本不均衡的问题，但是因为是多分类问题，Focal loss和网上提供的实现大都是针对二分类的，所以阅读论文。本文我将解释论文中的内容以及自己的理解，同时文末会提供Focal loss针对多分类的实现。 ...
关于focal loss和分类任务中的hard negative（positive）mining
Trasper1的博客
12-09 3847
深度学习，数据是关键。 在训练一个分类器的时候，对数据的要求是class balance，即不同标签的样本量都要充足且相仿。然而，这个要求在现实应用中往往很难得到保证。 下面我以基于检测的单目标跟踪举例分析这个问题。 visual object tracking是在一段视频中跟踪一个特定目标。常见的方法有one-stage regression（比如correlation filter tr...
focal loss的tf代码
04-05
# compute the focal loss for each sample fl = -weights * tf.pow(1 - p_t, gamma) * ce # compute the mean focal loss over all samples return tf.reduce_mean(fl) ``` 该函数接受两个参数，`y_true`和`y_...
困难样本挖掘：Hard Sample Mining（原理及实现）
最新发布
Java开发，人工智能，边缘计算，致力于掌握前沿技术
04-01 3901
困难例挖掘方法通常可以提高目标检测器的性能，因为它受到不平衡训练集的影响。在这项工作中，两种现有的困难例子挖掘方法（LRM和焦点损失，FL）被调整并结合到最先进的实时目标检测器YOLOv5中。广泛地评估了所提出的方法对于提高困难例性能的有效性。在2021年Anti-UAV挑战数据集上，与使用原始损失函数相比，所提出的方法使mAP提高了3%，与单独使用困难挖掘方法（LRM或FL）相比，提高了约1%。
困难样本挖掘(Online Hard Sample Mining)
jacke121的专栏
05-20 7690
一、分类与检测 分类和检测是计算机视觉里面两个非常重要的任务，虽然两个任务的目标并不完全相同，但是本质上检测是在分类问题上的一次推广，即检测是在整个个图像上做的局部分类并且标记该局部分类的位置，那么可以说：检测=搜索+分类，所以某种意义上来说检测可以归约为分类问题[4] 现在的因为深度网络(尤其是CNN)的流行，很多重要的物体检测算法都是基于CNN，如YOLO，SSD，Faster R-CNN等，这些算法某种程度上是利用了CNN的局部分类特性，所以当我们去看这些算法的时候，发现和传统的物体检测不同，...
筛选样本_困难样本（Hard Sample）处理方法
weixin_30899789的博客
12-17 2808
​困难样本（Hard Sample）处理方法​如果按照学习的难以来区分，我们的训练集可以分为Hard Sample和Easy Sample. 顾名思义，Hard Sample指的就是难学的样本（loss大），Easy Sample就是好学的样本（loss小）。举个金融领域的情感分类的例子："隔夜要闻：美国12月CPI不及预期 原油终结五连跌"-----Hard Sample ​ "商品期货多数上涨...
【学习笔记】标签噪声下利用深度学习进行图像分类任务——概述
Ace2NoU的博客
12-20 7034
论文地址 [1912.05170v1] Image Classification with Deep Learning in the Presence of Noisy Labels: A Survey (arxiv.org)https://arxiv.org/abs/1912.05170v1 Abstract 用于进行图像分类的神经网络需要大量的标记数据来进行适当的训练。但是，由于分类的困难和标记过程的高代价，使得标签噪声是数据集中普遍存在的问题。 众所周知，深度网络对标签噪声具有一定的鲁棒性..
置信学习寻找噪音样本(noisy label)在NLP任务中的实践
HGlyh的博客
05-06 2493
置信学习寻找噪音样本(noisy label)在NLP任务中的实践
hard example mining(困难样本挖掘)
热门推荐
qq_44804542的博客
03-28 1万+
分类中的一些基础概念： 正样本：包含我们想要识别类别的样本，例如，我们在做猫狗分类，那么在训练的时候，包括猫或者狗的图片就是正样本 负样本：在上面的例子中，不包含猫或者狗的其他所有的图片都是负样本 难分正样本(hard positives)：易错分成负样本的正样本，对应在训练过程中损失最高的正样本，loss比较大（label与prediction相差较大）。 难分负样本(hard negatives)：易错分成正样本的负样本，对应在训练过程中损失最高的负样本** 易分正样本(easy positive)：
Pytorch实现多分类问题样本不均衡的权重损失函数 FocusLoss
qq1803291168
04-16 9551
# Pytorch实现多分类问题样本不均衡的权重损失函数FocusLoss
focal loss与quality focal loss的区别
05-24
Focal Loss是一种用于解决类别不平衡问题的损失函数，在目标检测和图像分类等任务中具有广泛的应用。其核心思想是通过减轻易分类样本的权重，使得难分类样本在训练中得到更多的关注，从而提高模型在难样本上的性能。 Quality Focal Loss是在Focal Loss的基础上进一步优化，主要是针对目标检测任务中存在的正负样本不平衡和样本质量不均衡问题。在Quality Focal Loss中，通过引入样本质量权重，对正负样本进行加权，从而使得高质量的样本在训练中得到更多的关注，提高模型的性能。 因此，Focal Loss和Quality Focal Loss的主要区别在于是否考虑了样本质量问题。Focal Loss只考虑了类别不平衡问题，而Quality Focal Loss同时考虑了类别不平衡和样本质量不均衡问题。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值