[Transformer] TransVOD: End-to-End Video Object Detection with Spatial-Temporal Transformers

2022年1月

https://arxiv.org/abs/2201.05047v3

https://github.com/SJTU-LuHe/TransVOD.

DETR《End-to-End Object Detection with Transformers》

Deformable DETR《Deformable Transformers for End-to-End Object Detection》

TransVOD 《End-to-End Video Object Detection with Spatial-Temporal Transformers》

标题一脉相承

本文笔记基于2021.5版本,比较老;新版的论文加入了TransVOD++,在此并未详述。

1 简介

DETR和Deformable DETR用于Object Detection,可以在减少人工设计的组件(非最大抑制、Anchor生成)的情况下仍然取得较好的效果。

下图为DETR示意图

而TransVOD就是将这种思想运用到VOD(video object detection)中,减少人工设计组件的数量,例如光流、RNN以及关系网络等。另外,本文的方法不需要进行后处理。

2 网络结构

对于当前帧,使用一系列视频帧作为输入,输出当前帧的检测结果。

在DETR的基础上加上一个Temporal transformer。

Temporal transformer由三个部分构成, Temporal Deformable Transformer Encoder (TDTE) ,Temporal Query Encoder (TQE) ,and Temporal Deformable Transformer Decoder (TDTD)。对于每一帧,这几个模块都是共享的,并通过端到端的方式进行训练。

网络整体结构由以下四部分组成:

  • Spatial Transformer

使用Deformable DETR作为静态图片的检测器,包括Spatial Transformer Encoder和Spatial Transformer Decoder,将每一帧编码成Spatial Object Query Qt和Memory Encoding Et。

  • Temporal Deformable Transformer Encoder (TDTE)

编码时空信息,为最后的decoder输出提供位置信息。

使用Temporal Deformable Attention采样部分有效信息,在时间维度上连接Memory Encodings Et,并抑制背景噪声。

Temporal Deformable Attention的核心思想是只关注少部分关键的采样点,从而实现更加高效的特征聚合。

下图中的详细解释与Deformable DETR原文基本一样,唯一的区别是l从指代输入特征层改为指代视频帧:

  • Temporal Query Encoder (TQE)

将当前帧与其他参考帧的spatial object queries进行关联,利用参考帧来增强当前帧的输出。

结合所有参考帧的spatial object queries,标记为Qref,以coarse-to-fine的方式来进行打分和筛选。利用一个额外的FFN来预测类别,然后计算

根据p值对参考点进行排序,从这些参考点中选出top-k值。

这些选出的值将会被送入feature refiners,与从不同帧中提取出的object queries进行交互,计算与当前帧输出的co-attention。

将带有cross-attention模块的decoder层作为feature refiner,迭代地更新每个Spatial Transformer的输出queries,最后得到temporal object query,作为TDTD的输入。

Tip:

TopK是一种计算准确率的方法,在多分类任务中经常出现,如 cifar100 这个100分类任务中,衡量预测是否准确可以:

1、Top1 准确率:直接对比网络计算得到的output中概率最高的那个类别和标签类别是否一致,如果一致则判断正确,否则错误。

2、Top5 准确率:对比output中概率前五的类别中是否有标签的类别,有则判断正确,否则就是判断错误。

很明显,K越大对于网络的评价标准越宽容。

  • Temporal Deformable Transformer Decoder (TDTD)

TDTD以TDTE(fused memory encodings)和TQE(temporal object queries)的输出作为输入,输出当前帧最终的检测结果。

下图中的具体解释与Deformable DETR原文完全一样:

损失函数

原始的DETR避免了后处理,并采用一个one-to-one的标签规则。

用Hungarian 算法来match ground truth 和 TDTD的预测结果

因此Spatial Transformer的训练过程与原始DETR一致。

Temporal Transformer使用相似的损失函数。

3 对比

  • 3
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值