啦啦头头

记录和分享经验!!

Towards High Performance Video Object Detection -CVPR 2018

Towards High Performance Video Object Detection

接着上面的工作(DFF,FGFA),这里在abstract中写的很霸气,直接说了基于之前的工作,提出三种不同的方法来提高检测的速度和精度。

Method

直接上图来解释他们的工作,其中a代表DFF(deep feature flow),b 代表FGFA(flow guided feature aggregation) 。右侧代表他们提出的3种不同的方法。


c1 Sparsely Recursive Feature Aggregation

之前FGFA的aggregation是很dense的,所以计算量很大,这里他提出对于key frame而言,不做dense的aggregation而是做那种递归式地从前到后进行,这样大大减少了计算量,相当于两帧之间做aggregation,后面的帧会考虑前面所有帧的历史信息

c2 Spatiallyadaptive Partial Feature Updating

这里是文章的亮点,partially update feature代表对于不同区域,采用不同的策略,warp或者做cnn 提取特征,那么如何确定那个点是用warp还是用cnn呢?作者用了一个a sibling branch on the flow network,它的输出是一个mask(记为Q),1代表warp,0代表用CNN,(1和0 的确定是作者自己设置的一个阈值,让这个网络去学习,相当于这个网络的作用就是隐式地对帧和帧之间点的运动大小做prediction)。

这里还没做完,因为feature matters,对于每个非关键帧,也会采用c1的做法,从前向后递归地进行aggregation。

注意在实现的时候他是逐层实现。mask算出来后(光流分支),在计算n层特征时用n-1层计算结果,计算n-1层用n-2(如此递归进行),mask大小根据feature map的大小逐渐调整,这样相当于对于一些点(非key frame)不用进行计算,否则你还得从头算n层,尤其对于一些图完全可以warp的,尤其是那种场景变化很小的图。

c3 Temporallyadaptive Key Frame Scheduling

之前的mask每个点代表运动变化程度,那么它们的求和就代表整个图像的appearance变化的大小,所以这里用了一个很简单的策略来进行key frame 的选择,就直接设置一个阈值,大于这个阈值就是key frame,小于就不是。为了证明这个策略,作者还做了如下实验:


可以看到内容变化大的会超过阈值。

这个 trainning framework可以说是相当复杂了。

结果

自然是state of art

note:1,作者还做了大量对比实验。

2,Key Frame 选择是至关重要的。

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/lxt1994/article/details/79953952
个人分类: ComputerVision
上一篇Flow-Guided Feature Aggregation for Video Object Detection-ICCV 2017
下一篇DeepLab_v3+:Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭