视频物体检测(VID) Impression Network for Video Object Detection

SenseTime出品

来源:https://arxiv.org/pdf/1712.05896.pdf

基于印象机制的高效多帧特征融合,解决defocus and motion 

blur等问题(即视频中某帧的质量低的问题),同时提高速度和性能。 
这里写图片描述

类似TSN,每个segment选一个key frame(注意,TSN做视频分类是在cnn最后才融合不同的segments)。特征融合前需要用Optical flow(FlowNet-S)来对齐。 
目前使用的是fixed segment length,联想Deep Alternative Neural Network使用的自适应视频分段方法。

Detect to Track and Track to Detect 
这里写图片描述
思考:track是不是可以代替印象网络中的光流来自动做对齐?

Mobile Video Object Detection with Temporally-Aware Feature Maps 
这里写图片描述 
哈哈,看来帧间特征的关联就是光流,TSN,印象机制,RNN,3d conv这几种常见办法了。 
注意这里用的是卷积LSTM!且改进成了高效的Bottleneck-LSTM: 
这里写图片描述

Spatial-Temporal Memory Networks for Video Object Detection 
也是为了通过简单的帧来加强质量差的帧: 
这里写图片描述

记忆机制(是不是和印象机制差不多?): 
这里写图片描述

STMM是ConvGRU的改进,以更好地利用ImageNet预训练权重。 
使用更高效的MatchTrans module来对齐帧间的特征(而不是光流。可以看出最近的文章思路都很像==),大概是基于近邻的思路。 
动作分类中记忆机制会不会比TSN好,是否需要做对齐?

Towards High Performance Video Object Detection 
这里写图片描述

路子和印象机制那篇很像,也是稀疏的特征传递,用flow对齐。好像方法更精致一些(虽然论文好像上传的很仓促,是因为最近太多类似工作上传了吗?)?比如对key frame进行了自适应?、

参考:

【1】https://blog.csdn.net/wayne2019/article/category/7077174

  • 1
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值