《Revisiting knowledge transfer for training object class detectors》论文笔记

本文探讨了在弱监督训练中如何使用知识转移来训练目标检测器。提出了一种统一的框架,利用带有边界框注释的源类来训练多类别目标检测器,该框架组织成语义层次结构,生成不同层次的高质量提案。在ILSVRC 2013检测数据集上,实验表明类通用知识转移效果最佳,能显著提升弱监督目标定位基线的性能,并且生成的目标检测器接近全监督性能。
摘要由CSDN通过智能技术生成

谷歌AI perception

目录

abstract

introduction


abstract

在弱监督训练图片中revisit knowledge transfer 来训练object detectors。由一些带有 bounding-box annotations 的 source class 提供支持。我们提出了基于训练一个multi-class object detector的神经网络 的 统一的知识转移框架,是semantic hierarchy的。

它生成了带有分数的proposals at multiple levels in the hierarchy。我们用它来探索更大范围内的知识转移,从类特定(class-specific)的(bycicle到摩托车)到类通用(class-generic)的(任何类的对象性)。

在有200个目标类别的 ILSVRC 2013 detection dataset上做的实验。


introduction

目标检测,之前的训练是监督的,训练集中每个图片都要画出bounding box以及给出它的类别。现在弱监督训练,使用的是image-level的标签。


ImageNet和COCO数据集提供了许多带有bounding-box annotations的classes,可以利用这些annotations来学习一个新的类。在本文中,在一个knowledge transfer设定下训练目标检测器:在带有 bounding-box annotation 的 source classes 的帮助下,使用 image-level 的 labels 来训练目标检测器,从而学习target classes。

本文的模型建立在多实例学习(Multiple Instance Learning,MIL)上,将它拓展结合来自source classes的信息。在标准的MIL中,图像被分解为object proposals,该过程在re-localizing objects given the current detector和在re-training the detector given the current object locations之间交替进行。在re-localizing 期间,通常包含它的每个图像中选择object class中得分最高的proposal。


一些弱监督目标检测技术,在re-localization阶段加入了class-generic objectness measure来引导模型脱离背景去选择objects。这些工作是手工去懂得objectness measure,并获得了5%的正确定位提高。使用objectness可以被看作knowledge transfer的一种(弱)形式,从一个generic object appearance prior 到一个手中的特定的目标类。

还有一些弱监督目标检测技术,使用了class-specific的knowledge transfer。对于每一个目标类,它们决定一些相关的source classes作为transfer的源头。  一些方法通过为 proposals 打分,使用source classes 的 appearance models 来指导目标类的位置,与上述方法相似。  还有一些不直接将神经网络上的参数传递的方法,它们首先在所有source和target类上进行whole-image分类,然后将 source classifiers 微调成 object detectors,最后传送参数,在whole-image 分类器和 object detector之间进行转换,从source classes到target class之间进行转换,将它们高效地转换为detectors。

最终,YOLOv2通过结合一个标准的监督损失和一个弱监督损失(如 得最高分的box被认为是目标类),训练了 source 和 target的 class detector。在训练期间,他们使用了hierarchical 分类,隐式地实现了knowledge transfer(in-between class-generic and class specific)。

本文,我们提出了一个弱监督目标定位的统一的知识转移网络,可以让我们去探索complete range of 语义特异性。

我们训练了一个单神经网络单multi-class 目标检测器,organized in a semantichierarchy。它自然地在多个等级上提供了在MIL中的target classes中会用到的高质量的 proposals和 proposal 打分方程。‘entity’的 top-level 打分方程在概念上与objectness measure 有关。

我们的框架是的transfer有了更广的泛化功能:from the class-generic ‘entity’ class, from intermediate-level categories such as ‘animal’ and ‘vehicle’, and from specific classes such as ‘tiger’ and ‘car’. 我们使用了一个SSD模型作为source knowledge,根据target class以及所想要的 transfer 的泛化等级,选择使用 proposal 打分方程。

实验结果:在 ILSVRC 2013 detection dataset,200个object classes上,我们发现(1)class-generic transfer working best.(2)our class-generic knowledge transfer leads to large improvements over a weakly supervised object localization baseline using manually engineered objectness    (3)our method delivers detectors for the target classes which reach 80% of the mAP of their fully supervised counterparts, trained from manually drawn bounding-boxes...

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值