hard example mining(困难样本挖掘)

最新推荐文章于 2024-04-01 11:34:23 发布
最新推荐文章于 2024-04-01 11:34:23 发布
阅读量1.1w 收藏 23
点赞数 10
文章标签： hard example mining hard negative example 困难样本挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29981283/article/details/83350062
版权

Hard example mining

核心思想：用分类器对样本进行分类，把其中错误分类的样本(hard negative)放入负样本集合再继续训练分类器。

why hard negative?

FP: false positive, 错误的将其分类成正例。
我的理解是label 相对特征明显一些，如果把label分成负例说明这个分类器模型不够好。主要的问题还是庞大的negative里面有些令分类器难以分辨的物体。　　
关键:　找到这些影响分类器性能的hard negetive.

how hard negative?

数据集
  • 对于目标检测中我们会事先标记处ground truth，然后再算法中会生成一系列proposals，proposals与ground truth的IOU超过一定阈值（通常0.5）的则认定为是正样本，低于一定阈值的则是负样本。然后扔进网络中训练。However，这也许会出现一个问题那就是正样本的数量远远小于负样本，这样训练出来的分类器的效果总是有限的，会出现许多false positive。把其中得分较高的这些false positive当做所谓的Hard negative，既然mining出了这些Hard negative，就把这些扔进网络再训练一次，从而加强分类器判别假阳性的能力。
  • 可以自己做出这样的数据集用于以后的训练或是测试
loss上选取
  • 对于上面那种离线的方法也可以采用online的方案，训练的时候选择hard
最低0.47元/天 解锁文章
月韵清风
关注
困难样本挖掘(Online Hard Sample Mining)
jacke121的专栏
05-20 7704
一、分类与检测 分类和检测是计算机视觉里面两个非常重要的任务，虽然两个任务的目标并不完全相同，但是本质上检测是在分类问题上的一次推广，即检测是在整个个图像上做的局部分类并且标记该局部分类的位置，那么可以说：检测=搜索+分类，所以某种意义上来说检测可以归约为分类问题[4] 现在的因为深度网络(尤其是CNN)的流行，很多重要的物体检测算法都是基于CNN，如YOLO，SSD，Faster R-CNN等，这些算法某种程度上是利用了CNN的局部分类特性，所以当我们去看这些算法的时候，发现和传统的物体检测不同，...
涨点技巧：基于Yolov5/Yolov7的困难样本挖掘---LRM loss，提升难样本检测精度
04-24 1630
针对难样本检测性能低下的问题点，引入困难样本挖掘---LRM loss，提升yolov5/yolov7检测精度
行人重识别(18)——代码实践之难样本挖掘算法（hard_example_mining.py）
R.I.P Kobe Bryant
01-04 1287
介绍难样本挖掘算法（hard_example_mining.py）的作用、编写思路、python代码。
困难样本挖掘：Hard Sample Mining（原理及实现）
最新发布
Java开发，人工智能，边缘计算，致力于掌握前沿技术
04-01 3977
困难例挖掘方法通常可以提高目标检测器的性能，因为它受到不平衡训练集的影响。在这项工作中，两种现有的困难例子挖掘方法（LRM和焦点损失，FL）被调整并结合到最先进的实时目标检测器YOLOv5中。广泛地评估了所提出的方法对于提高困难例性能的有效性。在2021年Anti-UAV挑战数据集上，与使用原始损失函数相比，所提出的方法使mAP提高了3%，与单独使用困难挖掘方法（LRM或FL）相比，提高了约1%。
跨越『时空』的难样本挖掘！
Kaiyuan_sjtu的博客
09-03 715
作者|王珣整理 | NewBeeNLP我们码隆科技在深度度量学习继续深耕，又做了一点点改进的工作，承蒙审稿人厚爱，被CVPR-2020接收为Oral，并进入best paper候选（共...
Hard Example Mining 与 online Hard Example Mining
sunspring320的博客
12-13 9296
Hard Example Mining 与 online Hard Example Mining 的应用 online Hard Example Mining 这部分主要转载的关于人脸的样本的应用，博主写的就很好，直接跳过 http://blog.csdn.net/u013608402/article/details/51275486 Online Hard Example M
物体检测中的困难样本挖掘(Online Hard Sample Mining)
热门推荐
u010165147的博客
07-25 1万+
对于物体检测问题而言，检测器面对的是整个世界的物体，这些物体里面只有非常少的被标记了具体类别，大量的物体其实并没有类别信息，甚至根本不知道如何标记他的类别，所以面对开集问题，我们要求检测(分类)器要有非常好的排他能力或排除背景类别能力，那么训练数据将会非常重要，为了有这样的能力我们需要切割下大量的背景作为负样本(negative samples)来训练，但是这些背景样本是否足够了？**不管加了多少背景数据，目前都无法从理论上回答这个问题：背景是否足够。** 而事实上不管如果加背景数据训练，模型总能遇
论文阅读-《Training Region-based Object Detectors with Online Hard Example Mining》
yj_isee的博客
03-19 5060
收录于CVPR2161.Abstract作者指出了region-based的分类器的训练过程当中有很多超参数需要调节，这样使得训练过程很复杂。因此他们提出了一种online hard example mining的方法，可以在训练的过程中自动选择那些hard example加入训练，这样使得训练更加有效和快速，同时能提升网络的性能。2.Introduction作者指出了object detectio
深度学习不可忽略之OHEM:Online Hard Example Mining
litt1e的博客
03-12 1581
OHEM是CVPR2016的文章，它提出一种通过online hard example mining 算法训练Region-based Object Detectors，其优点： 1.对于数据的类别不平衡问题不需要采用设置正负样本比例的方式来解决，这种在线选择方式针对性更强。 2.当数据集增大，算法可以在原来基础上提升更大。 当我们遇到数据集少，且目标检测positive proposal少时，一...
用首次训练获得的SVM在负样本原图上检测HardExample
11-14
用首次训练获得的SVM在负样本原图上检测HardExample并保存为文件。 使用时请自行修改工程的include目录和lib目录配置。
残差网络下基于困难样本挖掘的目标检测
02-12
为了提高图像目标的检测精度, 提出一种在残差网络下设计基于困难样本挖掘的目标检测算法。首先阐述基于深度学习的目标检测算法, 即超快速区域卷积神经网络(Faster R-CNN)的工作原理, 分析该算法存在的不足与改进方式。在Faster R-CNN的基础上, 为了使模型能提取更有效的深度卷积特征, 选取网络更深的残差网络替换原始的ZF或VGG网络。为了使学习到的网络模型有更强的泛化能力, 在网络训练过程中, 利用困难样本更新网络参数, 使网络训练更充分。在Pascal VOC2007、Pascal VOC2007+Pascal VOC2012和BIT这三个数据集中进行训练和测试, 实验结果显示, 融合了两种方法的Faster R-CNN在这三个数据集上的检测精度分别提升了3.5%、7.1%、6.4%, 提升效果明显。
OHEM（Online Hard Example Mining）
pandamax的博客
04-12 2508
OHEM（Online Hard Example Mining）
目标检测--Training Region-based Object Detectors with Online Hard Example Mining
AI小作坊 的博客
03-13 960
Training Region-based Object Detectors with Online Hard Example Miningcode： https://github.com/abhi2610/ohem本文针对 Fast R-CNN 检测系统，从样本训练的策略提出改进方法。首先来看一下 Fast R-CNN 3 Overview of Fast R-CNNFRCN（Fast R-C
hard example
wmonica121的专栏
01-30 1012
在训练数据时，会涉及到一些hard example（困难样本/难例） 比较有用的网址有如下： http://blog.163.com/pz124578%40126/blog/static/235226942013435156379/ http://blog.csdn.net/masibuaa/article/details/16105073 http://blog.csdn.net
[文献阅读]Training Region-based Object Detectors with Online Hard Example Mining
DonatelloBZero的博客
08-02 1726
搜文章名能够搜出来几篇csdn上的文章，不过写得都比较简略，但是物理意义说得比较清楚。然后我这篇写得，也很简略。没放图没讨论具体的网络结构，只记录了自己比较在意的对一些细节的理解。 　　论文的主要特点在于online。 　　首先介绍了目标检测中，负例与正例的比例严重不平衡的问题，比如DPM中背景图和正例的比例达到了100000比1，而即便是比较新的算法该比例也达到了70：1。文章没有说正负
（HEM/OHEM）hard negative（example）mining难例挖掘 与focal loss、GHM损失函数
xys430381_1的专栏
06-18 6827
分类任务中的样本不均衡及hard negative mining的必要性 在训练一个分类器的时候，对数据的要求是class balance，即不同标签的样本量都要充足且相仿。然而，这个要求在现实应用中往往很难得到保证。 在目标检测算法中，对于输入的一张图像，可能会生成成千上万的预选框（region proposal），但是其中只有很少一部分是包含真实目标的，这就带来了类别不均衡问题。 类别不平衡时...
hard nagetive mining
Focusing on your own Mind :) －> 站在巨人的肩膀上
04-22 7244
Let’s say I give you a bunch of images that contain one or more people, and I give you bounding boxes for each one. Your classifier will need both positive training examples (person) and negative train
ssd检测模型中的hard example mining源码解析以及这一机制对训练loss的影响
yuanlunxi的专栏
12-02 3310
计算机视觉交流群：677855967，欢迎大家加入交流。 最近尝试用coco数据集训练tensorflow object detection api(下简称api)中的ssd检测模型；在tensorboard中监测到loss曲线如下： 对总体loss进行局部放大如下：                                                              ...
online hard example mining
03-16
在线困难样本挖掘（Online Hard Example Mining）是一种深度学习中的技术，它可以在训练过程中自动选择难以分类的样本进行重点训练，以提高模型的性能。这种技术可以帮助模型更好地处理复杂的数据集，提高准确率和泛化能力。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值