Towards High Performance Video Object Detection -CVPR 2018

原创 2018年04月15日 21:58:04

Towards High Performance Video Object Detection

接着上面的工作(DFF,FGFA),这里在abstract中写的很霸气,直接说了基于之前的工作,提出三种不同的方法来提高检测的速度和精度。

Method

直接上图来解释他们的工作,其中a代表DFF(deep feature flow),b 代表FGFA(flow guided feature aggregation) 。右侧代表他们提出的3种不同的方法。


c1 Sparsely Recursive Feature Aggregation

之前FGFA的aggregation是很dense的,所以计算量很大,这里他提出对于key frame而言,不做dense的aggregation而是做那种递归式地从前到后进行,这样大大减少了计算量,相当于两帧之间做aggregation,后面的帧会考虑前面所有帧的历史信息

c2 Spatiallyadaptive Partial Feature Updating

这里是文章的亮点,partially update feature代表对于不同区域,采用不同的策略,warp或者做cnn 提取特征,那么如何确定那个点是用warp还是用cnn呢?作者用了一个a sibling branch on the flow network,它的输出是一个mask(记为Q),1代表warp,0代表用CNN,(1和0 的确定是作者自己设置的一个阈值,让这个网络去学习,相当于这个网络的作用就是隐式地对帧和帧之间点的运动大小做prediction)。

这里还没做完,因为feature matters,对于每个非关键帧,也会采用c1的做法,从前向后递归地进行aggregation。

注意在实现的时候他是逐层实现。mask算出来后(光流分支),在计算n层特征时用n-1层计算结果,计算n-1层用n-2(如此递归进行),mask大小根据feature map的大小逐渐调整,这样相当于对于一些点(非key frame)不用进行计算,否则你还得从头算n层,尤其对于一些图完全可以warp的,尤其是那种场景变化很小的图。

c3 Temporallyadaptive Key Frame Scheduling

之前的mask每个点代表运动变化程度,那么它们的求和就代表整个图像的appearance变化的大小,所以这里用了一个很简单的策略来进行key frame 的选择,就直接设置一个阈值,大于这个阈值就是key frame,小于就不是。为了证明这个策略,作者还做了如下实验:


可以看到内容变化大的会超过阈值。

这个 trainning framework可以说是相当复杂了。

结果

自然是state of art

note:1,作者还做了大量对比实验。

2,Key Frame 选择是至关重要的。

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/lxt1994/article/details/79953952

视频物体检测文献阅读笔记

Impression Network for Video Object Detection 基于印象机制的高效多帧特征融合,解决defocus and motion blur等问题(即视频中某帧的...
  • Wayne2019
  • Wayne2019
  • 2018-01-06 11:03:39
  • 539

Object Detection清单

HOMECATEGORIESARCHIVESLINKSSEARCHABOUT MEObject Detection Published: 09 Oct 2015  Category: deep_lea...
  • lien0906
  • lien0906
  • 2018-03-20 14:25:40
  • 212

Multiple Object Tracking with High Performance Detection and Appearance Feature

来源:ECCV 2016 本文的跟踪器是POI(Person of Interest),在基于数据关联(data association)的MOT中detection和学习appearance fea...
  • sunshinezhihuo
  • sunshinezhihuo
  • 2017-12-24 14:42:46
  • 307

计算机视觉-论文阅读笔记-基于高性能检测器与表观特征的多目标跟踪

这篇笔记主要是对今年ECCV2016上的论文:POI:Multiple Object Tracking with High Performance Detection and Appearance F...
  • wzmsltw
  • wzmsltw
  • 2016-12-16 11:50:48
  • 3707

[CVPR2018] An Analysis of Scale Invariance in Object Detection – SNIP

An Analysis of Scale Invariance in Object Detection – SNIP 简介 分类和检测的难度差异 各种对付尺度变化的方法 作者抛出的两个问题 分析现...
  • qq416261970
  • qq416261970
  • 2018-04-01 00:21:23
  • 134

CVPR 2015 Saliency Detection (显著性检测)

前一篇文章是做显著性的,最近很关注这个方向,CVPR 2015的也出了,特意整理一下,简单的分析以后有空再加: 1. “Traditional Saliency Reloaded: A Good O...
  • u011411283
  • u011411283
  • 2015-06-13 15:57:45
  • 5630

CVPR 2010 papers

Object Recognition I: Context (oral) Object-Graphs for Context-Aware Category Discovery (PDF, pro...
  • GarfieldEr007
  • GarfieldEr007
  • 2015-07-21 12:33:55
  • 2405

CVPR 2015 Oral概览 - 第二天下午

第二天下午两大主题:历久弥坚的老话题,分割以及建模
  • shenxiaolu1984
  • shenxiaolu1984
  • 2015-10-12 21:52:25
  • 1334

Faster R-CNN: TowardsReal-Time Object Detection with Region Proposal Networks阅读笔记

Faster R-CNN: TowardsReal-Time Object Detection with Region Proposal Networks Shaoqing Ren, Kaiming...
  • mw_mustwin
  • mw_mustwin
  • 2016-11-04 21:14:38
  • 1070

深度学习目标检测相关论文资源集合

说在前面:本文是将深度学习目标检测相关的论文与资源做一个整合。主体内容来自Object Detection,再次表示对原作者的感谢。本人会持续做更新、增删、修改,力求体系、内容更加完整、时效,给读者提...
  • zbgjhy88
  • zbgjhy88
  • 2018-03-22 10:48:26
  • 145
收藏助手
不良信息举报
您举报文章:Towards High Performance Video Object Detection -CVPR 2018
举报原因:
原因补充:

(最多只允许输入30个字)