目标检测研究综述+LocNet

北京 上海巡回站 | NVIDIA DLI深度学习培训
2018年1月26/1月12日

NVIDIA 深度学习学院 带你快速进入火热的DL领域
阅读全文                          


正文共3531个字,39张图,预计阅读时间9分钟。


01

localization accuracy



更准确的bounding box,提高IOU


02

目标检测的发展


1、传统的目标检测(滑动窗口的框架)


(1).滑动窗口
(2).提取特征(SIFT,HOG,LBP)
(3).分类器(SVM)


2、基于深度学习的目标检测


d


具体发展


(1).R-CNN


Motivation:目标检测进展缓慢,CNN在图片分类中取得重大成功


Contribution:应用CNN将检测问题转化成分类问题


RCNN


(2).SPPNet


Motivation:CNN要求输入图片尺寸固定


Contribution:引入SPP层解除固定尺寸约束


SPPNet


(3).Fast R-CNN


Motivation:候选框的重复计算问题


Contribution: 加入RoI池化层、将BB回归融入网络


Fast R-CNN


(4).faster RCNN


Motivation: Selective Search作为一个独立的操作,速度依然不够快。


Contribution:抛弃了Selective Search,引入了RPN网络,使得区域提名、分类、回归一起共用卷积特征,从而得到了进一步的加速。


faster rcnn


(5).YOLO


Motivation:先前提出的算法都是将检测问题转化为分类解决


Contribution:将检测回归到回归方法,提高实时性能


YOLO


(6).SSD


Motivation:yolo S×S的网格就是一个比较启发式的策略,难以检测小目标


Contribution:借鉴了Faster R-CNN中的Anchor机制,使用了多尺度特征金字塔


SSD


03

目标检测的几个名词


(1). MAP(mean average precision)



每一个类别都可以根据recall和precision绘制一条曲线,那么AP就是该曲线下的面积,而mAP是多个类别AP的平均值,这个值介于0到1之间,且越大越好。这个指标是目标检测算法最为重要的一个。


(2).IOU



绿色框是人工标注的groundtruth,红色框是目标检测算法最终给出的结果,显然绿色框对于飞机这个物体检测的更加准确(机翼机尾都全部包含在绿色框中),IOU正是表达这种bounding box和groundtruth的差异的指标。算法产生的bbox VS 人工标注的数据。



IOU定义了两个bounding box的重叠度,可以说,当算法给出的框和人工标注的框差异很小时,或者说重叠度很大时,可以说算法产生的boundingbox就很准确。


矩形框A、B的一个重合度IOU计算公式为:


IOU=(A∩B)/(A∪B)


(3). NMS(非极大值抑制)



目标检测算法一般会给出目标很多的粗略结果,对一个目标成百上千的粗略结果都进行调整肯定是不可行的。那么我们就需要对这些粗略结果先进行一个大体的挑选。挑选出其中最具代表性的结果。再对这些挑选后的结果进行调整,这样可以加快算法效率。


消除多余的框,找到最佳的bbox


根据这些框的分类器类别分类概率做排序: A<B<C<D<E<F


(1)从最大概率矩形框F开始,分别判断A~E与F的重叠度IOU是否大于某个设定的阈值;


(2)假设B、D与F的重叠度超过阈值,那么就扔掉B、D;并标记第一个矩形框F,是我们保留下来的。


(3)从剩下的矩形框A、C、E中,选择概率最大的E,然后判断E与A、C的重叠度,重叠度大于一定的阈值,那么就扔掉;并标记E是我们保留下来的第二个矩形框。


就这样一直重复,找到所有被保留下来的矩形框


(4) 边界框回归(Bounding-box regression )



由前面介绍的IOU指标可知,这里算法给出的红色框可以认为是检测失败的,因为它和绿色的groundtruth的 IOU值小于了0.5,也就是说重叠度不够。那么我们就需要对这个红色框进行微调。使得经过微调后的窗口跟Ground Truth 更接近 。



红色的框 P 代表原始的Proposal
**绿色的框 G **代表目标的 Ground Truth
目标是:寻找一种关系使得输入原始的窗口 P 经过映射得到一个跟真实窗口 G 更接近的回归窗口 G~G~≈G



04

从CVPR2016看目标检测的发展趋势


(a)检测精度
如何提高检测精度的指标mAP?
代表性的工作是ResNet、ION和HyperNet


(b)识别效率
如何提高检测速度?
YOLO:这个工作在识别效率方面的优势很明显,可以做到每秒钟45帧图像,处理视频是完全没有问题的


(c)定位精度
如何产生更准确的bounding box? 如何逐步提高评价参数IOU?(Pascal VOC中,这个值为0.5)
LocNet:抛弃boundingbox回归,利用概率模型(本文)

从单纯的一律追求检测精度,到想方法加快检测结果,到最后追求更加准确的结果。侧面反映了目标检测研究的不断进步*。


05

LocNet:Improving localization accuracy for object detection


1. background

  • localization accuracy 少人问津

  • PASCAL VOC  IOU=0.5 (object has been successfully detected)

  • Real life  higher localization accuracy (e.g. IoU> 0.7) is normally required

  • COCO detection challenge 把IOU值也作为了最终的评价指标(MAP+IOU)

  • 提高目标检测的IOU(而不仅是MAP)将会成为未来目标检测的主要挑战。

  • 传统的bbox回归:尝试直接通过回归的方式直接得到bbox的坐标,很难得到很准确的bbox。


2. Contributions


  • 可以很方便的和现在最先进的目标检测系统结合

  • 提出了两种基于行列的概率模型解决定位准确率,而不是回归的方式,并与回归方式进行了
    对比

  • 对传统方法和最先进的方法不同iou下的map都有所提高

  • 未来可以完全取代bbox回归的方法


3.两种概率模型



黄色框是检测系统给出的,红色框是由黄色框扩大常数倍得到的search region,LOCNet会在这个搜索区域建立概率模型得到最终的定位区域蓝色框


  • 边界概率:
    计算该行或该列是目标边界的概率(所以,行列两个概率图各选两个极大值,即可得到目标边界)

  • in-out概率:
    计算目标在该行或该列的概率(所以,行列两个概率图分别选择最高并且最平滑的区域,即可得到目标的区域)


4. detection pipeline



输入的候选bounding box(使用selective search或者sliding windows获得),通过迭代的方法,获得更精确的box


两个过程:


1、Recognition model:

输入候选box


为每个box产生一个置信度


2、Localization model:


输入候选box


调整box的边界生成新的候选box


为降低算法复杂度,会参与一个后处理NMS操作。


5. Model predictions


输入的box,把它扩大一个因子的倍数,获取一个更大的区域R,区域R划分成M*M的格子

In-Out probabilities


产生两个概率,分别代表区域R的每一行或者列包含在bounding box中的概率


ground truth box而言,对于边界内的行或列概率为1,否则为0


**Border probabilities **





产生4个概率,left (l), right (r), top (t) and bottom (b)


ground truth box


6. Network Architecture



(1)对于输入的box,把它扩大一个因子的倍数,获取一个更大的区域R,把R投影到feature map中


(2)经过一个类似于ROI pooling的层,输出固定大小的map


(3)经过几个卷积层和ReLU激活之后,出现两个分支,分别对应两个向量。然后经过max pooling得到


row、column对应的向量



(4)经过FC层之后,使用sigmoid函数输出In –Out概率或者边界概率


7.Loss function


每行或列有两种可能(是或者不是),伯努利分布的模型,log对数损失函数假设样本服从伯努。


利分布(0-1分布)


logistic 回归常用的损失函数交叉熵

In-Out


Borders

平衡因子,因为作为边界的行或列较少,所以增大他们的权重。


8.results



结果表明,与不同的检测系统结合,基于边界概率的模型在不同的IOU下都提高了mAP值,并且效果优于bbox回归。


不同IOU下的MAP


原文链接:https://www.jianshu.com/p/78f614799cf2


查阅更为简洁方便的分类文章以及最新的课程、产品信息,请移步至全新呈现的“LeadAI学院官网”:

www.leadai.org


请关注人工智能LeadAI公众号,查看更多专业文章

大家都在看

LSTM模型在问答系统中的应用

基于TensorFlow的神经网络解决用户流失概览问题

最全常见算法工程师面试题目整理(一)

最全常见算法工程师面试题目整理(二)

TensorFlow从1到2 | 第三章 深度学习革命的开端:卷积神经网络

装饰器 | Python高级编程

今天不如来复习下Python基础


  • 2
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值