[Transformer] TransVOD: End-to-End Video Object Detection with Spatial-Temporal Transformers

已于 2022-02-28 14:58:05 修改
阅读量4.1k 收藏 9
点赞数 3
分类专栏： Transformer backbone 文章标签： transformer 目标检测 深度学习
于 2022-02-28 14:57:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46746665/article/details/123182623
版权

2022年1月

https://arxiv.org/abs/2201.05047v3

https://github.com/SJTU-LuHe/TransVOD.

DETR《End-to-End Object Detection with Transformers》

Deformable DETR《Deformable Transformers for End-to-End Object Detection》

TransVOD 《End-to-End Video Object Detection with Spatial-Temporal Transformers》

标题一脉相承

本文笔记基于2021.5版本，比较老；新版的论文加入了TransVOD++，在此并未详述。

1 简介

DETR和Deformable DETR用于Object Detection，可以在减少人工设计的组件（非最大抑制、Anchor生成）的情况下仍然取得较好的效果。

下图为DETR示意图

而TransVOD就是将这种思想运用到VOD（video object detection）中，减少人工设计组件的数量，例如光流、RNN以及关系网络等。另外，本文的方法不需要进行后处理。

2 网络结构

对于当前帧，使用一系列视频帧作为输入，输出当前帧的检测结果。

在DETR的基础上加上一个Temporal transformer。

Temporal transformer由三个部分构成， Temporal Deformable Transformer Encoder (TDTE) ，Temporal Query Encoder (TQE) ，and Temporal Deformable Transformer Decoder （TDTD）。对于每一帧，这几个模块都是共享的，并通过端到端的方式进行训练。

网络整体结构由以下四部分组成：

  • Spatial Transformer

使用Deformable DETR作为静态图片的检测器，包括Spatial Transformer Encoder和Spatial Transformer Decoder，将每一帧编码成Spatial Object Query Qt和Memory Encoding Et。

  • Temporal Deformable Transformer Encoder (TDTE)

编码时空信息，为最后的decoder输出提供位置信息。

使用Temporal Deformable Attention采样部分有效信息，在时间维度上连接Memory Encodings Et，并抑制背景噪声。

Temporal Deformable Attention的核心思想是只关注少部分关键的采样点，从而实现更加高效的特征聚合。

下图中的详细解释与Deformable DETR原文基本一样，唯一的区别是l从指代输入特征层改为指代视频帧：

  • Temporal Query Encoder (TQE)

将当前帧与其他参考帧的spatial object queries进行关联，利用参考帧来增强当前帧的输出。

结合所有参考帧的spatial object queries，标记为Qref，以coarse-to-fine的方式来进行打分和筛选。利用一个额外的FFN来预测类别，然后计算

根据p值对参考点进行排序，从这些参考点中选出top-k值。

这些选出的值将会被送入feature refiners，与从不同帧中提取出的object queries进行交互，计算与当前帧输出的co-attention。

将带有cross-attention模块的decoder层作为feature refiner，迭代地更新每个Spatial Transformer的输出queries，最后得到temporal object query，作为TDTD的输入。

Tip：

TopK是一种计算准确率的方法，在多分类任务中经常出现，如 cifar100 这个100分类任务中，衡量预测是否准确可以：

1、Top1 准确率：直接对比网络计算得到的output中概率最高的那个类别和标签类别是否一致，如果一致则判断正确，否则错误。

2、Top5 准确率：对比output中概率前五的类别中是否有标签的类别，有则判断正确，否则就是判断错误。

很明显，K越大对于网络的评价标准越宽容。

  • Temporal Deformable Transformer Decoder (TDTD)

TDTD以TDTE（fused memory encodings）和TQE（temporal object queries）的输出作为输入，输出当前帧最终的检测结果。

下图中的具体解释与Deformable DETR原文完全一样：

损失函数

原始的DETR避免了后处理，并采用一个one-to-one的标签规则。

用Hungarian 算法来match ground truth 和 TDTD的预测结果

因此Spatial Transformer的训练过程与原始DETR一致。

Temporal Transformer使用相似的损失函数。

3 对比

Cherry_qy
关注
  • 3
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[目标检测新范式]DETR --- End-to-End Object Detection with Transformers
梦坠凡尘
05-29 4万+
论文：https://arxiv.org/abs/2005.12872 代码：https://github.com/facebookresearch/detr 参考 https://blog.csdn.net/longxinchen_ml/article/details/86533005
论文阅读：YOLOV: Making Still Image Object Detectors Great at Video Object Detection
a486259的博客
11-15 1470
发表时间：2023年3月5日论文地址：https://arxiv.org/abs/2208.09686项目地址：https://github.com/YuHengsss/YOLOV视频物体检测（VID）具有挑战性，因为物体外观的高度变化以及一些帧的不同恶化。有利的信息是，与静止图像相比在视频的某一帧中检测，可以从其他帧中获得支持。因此，如何在不同的框架之间聚合特性是VID问题的关键。。本文提出了一个简单而有效的策略来解决上述问题，该问题会带来微量计算量，但使准确性有显著提高。
探索动态场景的奥秘：Spatial-Temporal Transformer for Dynamic Scene Graph Generation
gitblog_00062的博客
06-05 365
探索动态场景的奥秘：Spatial-Temporal Transformer for Dynamic Scene Graph Generation 项目地址:https://gitcode.com/yrcong/STTran 随着计算机视觉领域的快速发展，理解和解析视频中的复杂动态场景变得越来越重要。Spatial-Temporal Transformer for Dynamic Scene Gr...
一文全览 | 3年来Transformer是怎么在小目标领域大杀四方的？
CV_Autobot的博客
09-15 715
作者|AI视界引擎 编辑| 自动驾驶Daily点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【木箱部署】技术交流群本文只做学术分享，如有侵权，联系删文Transformer模型已经在计算机视觉领域迅速赢得了广泛关注，尤其是在目标识别和检测领域。在调研了最先进的目标检测方法的结果后，作者注意到，在几乎每个视频或图像数据集中，Transformer模型...
Learning Spatio-Temporal Transformer for Visual Tracking（STARK）学习笔记
qq_43437453的博客
05-31 360
论文地址：https://arxiv.org/pdf/2103.17154。
(poseformer)3D Human Pose Estimation with Spatial and Temporal Transformers 论文笔记
thelastroit的博客
08-02 912
论文笔记
基于Spatial-Temporal Transformer的城市交通流预测
zuiyishihefang的博客
07-13 4343
文章信息本周阅读的论文是题目为《Spatial-Temporal Transformer Networks for Traffic Flow Forecasting》的一篇2021年发布在arXiv网站上的使用时空Transformer网络（STTNs）预测交通流的文章。摘要交通预测已成为智能交通系统的核心组成部分。然而，由于交通流的高度非线性特征和动态的时空依赖性，及时...
报告：End-to-End Object Detection with Transformers.pdf
01-03
《End-to-End Object Detection with Transformers》这篇论文深入探讨了如何使用Transformer架构进行端到端的目标检测。Transformer自2017年提出以来，已经在自然语言处理领域取得了显著的成就，而这篇论文则是将...
yolo开发YOLOv10: Real-Time End-to-End Object Detection
06-04
实时目标探测器。 实时目标检测的目的是在低延迟的情况下对目标进行分类和定位，这对现实世界的应用至关重要。...DETR引入transformer架构，采用匈牙利损耗实现一对一匹配预测，从而消除了手工制作元器
End-to-End Object Detection with Transformers 文献汇报ppt
04-25
End-to-End Object Detection with Transformers 论文汇报 本文概述了基于 Transformer 的 End-to-End 目标检测方法 DETR（DEtection TRansformer），该方法将目标检测任务视为直接集预测问题，避免了传统目标检测...
End-to-End Object Detection with Transformers 文献汇报ppt.zip
最新发布
06-17
"End-to-End Object Detection with Transformers"这篇文献探讨了如何将Transformer的自注意力机制应用到端到端的对象检测任务中，提供了一种全新的视角来处理图像中的物体识别问题。 **Transformer的基本概念** ...
每日学术速递4.27
与君共勉，一起学习
05-01 1190
给定一分钟长的人与宠物互动的 RGBD 视频，我们根据演员在场景中的运动得出的新颖摄像机轨迹渲染场景：(1) 模拟目标演员视角的以自我为中心的摄像机和 (2)跟随演员的第三人称摄像机。至关重要的是，为了扩展到长视频，我们的方法将场景运动分层分解为每个对象的运动，对象本身又分解为全局根体运动和局部关节。我们的方法在现实世界中使用单个模型在八个任务中显示了 80% 的成功率，并且在引入看不见的杂乱和看不见的对象配置时成功率为 47.5%，即使每个任务只有少数示例。在这两种情况下，它都预测连贯的小管作为输出。
【论文笔记】图像修复Learning Joint Spatial-Temporal Transformations for Video Inpainting
热门推荐
xian0710830114的专栏
02-17 1万+
本文提出时空转换网络STTN（Spatial-Temporal Transformer Network）。具体来说，是通过自注意机制同时填补所有输入帧中的缺失区域，并提出通过时空对抗性损失来优化STTN。为了展示该模型的优越性，我们使用标准的静止掩模和更真实的运动物体掩模进行了定量和定性的评价。
【论文笔记】视频实例分割 CVPR2021 Oral——VisTR：End-to-End Video Instance Segmentation with Transformers
随性记录
05-15 3137
视频实例分割video instance segmentation，在vos的基础上，对每个实例打标签 实例分割是目标检测+语义分割，在图像中将目标检测出来，然后对目标的每个像素分配类别标签，能够对前景语义类别相同的不同实例进行区分· 数据集：Youtube-VIS VisTR：End-to-End Video Instance Segmentation with Transformers 论文地址：https://arxiv.org/abs/2011.14503 CVPR2021 代码地址：https
【论文阅读笔记】Spatial Temporal Transformer Network for Skeleton-based Action Recognition
qq_39820716的博客
11-30 2221
Author: Chiara Plizzari Chinese Title: 《基于骨架动作识别的时空Transformer网络》 Classification: Action Rec Progress: Finished Publication: ICPR 2020 Reading Date: November 24, 2021 Intro: 多亏了3D姿态估计设别的优势，基于骨骼的动作识别近些年发展很快。但是对于提取上下文感知的细粒度时空特征，有潜力释放真正潜力在动作识别上的算法和神经网络目前还是很缺乏
End-to-End Object Detection with Transformers的部分解读
maum61的专栏
06-24 466
Transformer+Detection：引入视觉领域的首创DETR 也没有精力看原文了，直接看了博客： https://mp.weixin.qq.com/s?__biz=MzI5MDUyMDIxNA==&mid=2247531914&idx=1&sn=3b8d0b4d3821c64e9051a4d645467995&chksm=ec1c9073db6b1965d69cdd29d40d51b0148121135e0e73030d099f23deb2ff58fa45585
End-to-End Object Detection with Transformers解读
Cuibaby的博客
03-05 618
paper:https://arxiv.org/abs/2005.12872 Github开源地址：facebookresearch/detr 一、创新点将目标检测任务转化为一个序列预测（set prediction）的任务，使用transformer编码-解码器结构和双边匹配的方法，由输入图像直接得到预测结果序列。和SOTA的检测方法不同，没有proposal（Faster R-CNN），没有anchor（YOLO），没有center(CenterNet)，也没有繁琐的NMS，直接预测检测框和类别，利用.
DETR阅读笔记和源码理解：End-to-End Object Detection with Transformers
lovep1的博客
04-06 1801
paper：https://arxiv.org/pdf/2005.12872.pdf code：https://github.com/facebookresearch/detr 近年，transformer开始大量从NLP引入计算机视觉，使得很多工作有了新的方向，本篇paper是第一篇端到端的将transformer引入目标检测和全景分割的工作，我对这个领域也没有那么熟悉，算是一起扫盲了，如果有新的idea，可以尝试复现一波，本文将按照paper的结构进行叙述（本篇paper解读只是占个坑，我对DETR
3D Human Pose Estimation with Spatial and Temporal Transformers论文笔记
m0_51897038的博客
11-10 4037
一.概述 3D人体姿态估计的方法主要分为两类：直接估计（Direct estimation）和 2D 到 3D (2D to 3D lifting) 。 其中 2D 到 3D 的方法先利用 SOTA 2D 人体姿态估计算法得到 2D 关键点，再通过神经网络估计 3D 人体姿态。基于其优异的表现，2D 到 3D 已成为主流方法。 与从单张图片中估计 3D 人体姿态相比，从视频中估计 3D 人体姿态能利用时序信息进行更准确的预测。然而主流方法大多利用时序卷积（Temporal convolutional
TransVideo Inc?
Mariachi的专栏
07-12 692
http://www.transvideo.com.cn/web_cn/index.htm 
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值