屠榜目标跟踪！大连理工和MSRA提出STARK：基于Transformer的目标跟踪器 | ICCV 2021...

最新推荐文章于 2024-05-09 09:37:24 发布
最新推荐文章于 2024-05-09 09:37:24 发布
阅读量2.3k 收藏 17
点赞数 2
文章标签： 计算机视觉 人工智能 机器学习 深度学习 微软
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/amusi1994/article/details/119397803
版权

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

本文系CVer粉丝投稿  |  编辑：Amusi

先来看下STARK在各大数据集上的性能

短时跟踪

  • TrackingNet AUC 82.0% (目前第一)!

  • GOT-10K AO 68.8% (只用GOT10K训练 目前第一)！

  • VOT2020 EAO 0.505 (目前第二)！

长时跟踪

  • LaSOT AUC 67.1% (目前第一)!

  • VOT2020-LT F-score 70.2% (目前第一)!

  • OxUvA MaxGM 78.2% (Leaderboard第二，有paper的工作中第一)！

Learning Spatio-Temporal Transformer for Visual Tracking

作者单位 大连理工大学，微软亚洲研究院

论文：https://arxiv.org/abs/2103.17154

代码：https://github.com/researchmm/Stark

STARK

本文提出一种名为STARK的全新跟踪框架，该框架具体如下特点

（1）通过Transformer学习鲁棒的时空联合表示。STARK的输入包括：第一帧模板，当前帧搜索区域，以及一个随时间变化的动态模板。其中第一帧模板和当前帧搜索区域提供了待跟踪目标的外观与位置信息（空间信息），动态模板则涵盖了目标在跟踪过程中的动态变化（时序信息）。STARK将“时空”看作一个整体，将以上三张图像的骨干网络特征沿空间维度展开后拼接，得到一个同时包含空间与时序信息的特征序列作为Transformer编码器的输入，以学习一种强大的时空联合表示。

（2）将目标跟踪建模成一个直接的边界框预测问题。通过预测左上与右下角点热力图的方式，每帧直接得到一个最优的边界框，彻底摆脱了之前复杂且对超参敏感的后处理。

（3）STARK在多个短时跟踪与长时跟踪数据集上取得了当前最先进的结果，并且在GPU端可以实时运行（30/40 FPS on Tesla V100）。

实验结果

本文在多个短时跟踪与长时跟踪数据集上评估了STARK算法的性能，结果表明STARK在短时和长时跟踪数据集上均取得了最先进的性能（第一或第二）

短时跟踪

  • GOT-10K

遵循GOT-10K官方的要求，在GOT-10K测试集上测试时，我们只用GOT10K的训练集训练，STARK取得了68.8%的AO，排名第一

  • TrackingNet

STARK在TrackingNet上取得了82.0%的AUC，排名第一

  • VOT2020

VOT2020采用mask作为真值，参赛者可以选择汇报box或者mask。当只汇报box时，STARK以0.308的EAO超越了之前的SOTA SuperDiMP(0.305)；当搭配上AlphaRefine方法（首先用STARK预测边界框，再用AlphaRefine预测mask），STARK超越了AlphaRef, OceanPlus等最先进的方法, EAO达到了0.505，排名第二 (仅次于VOT20的冠军RPT)

长时跟踪

  • LaSOT

STARK在LaSOT上取得了67.1%的AUC， 排名第一

  • VOT2020-LT

STARK在VOT2020-LT上取得了70.2%的F-score，超越了当年的冠军LT_DSE，排名第一

  • OxUvA

STARK在OxUvA上取得了78.2%的MaxGM，超越了之前最先进的方法LTMU和Siam R-CNN等，目前在OxUvA的排行榜上排名第二，在有论文的方法中排名第一，

完整的训练和测试代码，训练好的模型和训练过程中的log，以及原始跟踪结果发布到以下repo， 欢迎大家Watch, Star, Fork三连！！！

https://github.com/researchmm/Stark

论文PDF和代码下载

后台回复：Stark，即可下载上述论文PDF和代码

后台回复：ICCV2021，即可下载ICCV 2021论文和代码开源的论文合集

后台回复：CVPR2021，即可下载CVPR 2021论文和代码开源的论文合集

CVer-Transformer交流群成立

扫码添加CVer助手，可申请加入CVer-Transformer 微信交流群，方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

一定要备注：研究方向+地点+学校/公司+昵称（如Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲长按加小助手微信，进交流群

▲点击上方卡片，关注CVer公众号

整理不易，请点赞和在看

Amusi（CVer）
关注
  • 2
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Stark:学习时空变压器进行视觉跟踪
04-01
斯塔克 的论文的正式实施 雇用视觉变压器项目的研究实习生： 强调 最强的表现 追踪器 LaSOT（AUC） GOT-10K（AO） TrackingNet（AUC） 斯塔克 67.1 68.8 82.0 TransT 64.9 67.1 81.4 TrDiMP 63.7 67.1 78.4 暹罗R-CNN 64.8 64.9 81.2 实时速度 STARK-ST50和STARK-ST101在Tesla V100 GPU上分别以40FPS和30FPS运行。 端到端，后处理免费 STARK是一种端到端跟踪方法，可以直接将一个准确的边界框预测为跟踪结果。 此外，STARK不使用任何对超参数敏感的后处理，因此性能稳定。 纯粹基于PyTorch的代码 STARK完全基于PyTorch实现。 安装环境 选项1 ：使用Anaconda conda create
显著性检测数据库MSRA1000的对应的由Labelme生成的标签文件label.png
04-01
MSRA1000数据库是为显著性检测研究而建立的一个数据集，由微软亚洲研究院（Microsoft Research Asia）发布，它包含了1000张具有丰富视觉显著性的图像，这些图像覆盖了各种场景、主题和复杂程度，旨在推动显著性预测...
单目标跟踪算法及其复现过程---STARK（二）
weixin_58244117的博客
04-22 3568
利用Transformer中的编码器对目标对象和搜索区域之间的全局时空特征相关性进行建模，使用Transformer中的解码器学习查询嵌入来预测目标对象的空间位置。首先，找到tracking文件夹下的create_default_local_file.py文件，需要配置workspace、data（数据集）和save（结果保存）的文件夹。使用编码器-解码器转换器，对象的预测只需使用一个简单的全卷积网络，该网络可以直接估计对象的角点。首先运行./tracking文件夹下的test.py脚本，参数设置如下。
推荐开源项目：Object-Tracker 实时目标追踪器
最新发布
gitblog_00081的博客
05-09 292
推荐开源项目：Object-Tracker 实时目标追踪器 项目地址:https://gitcode.com/bikz05/object-tracker Object-Tracker 是一个用 Python 编写的实时目标追踪系统，它充分利用了 dlib 和 OpenCV 这两个强大的计算机视觉库。通过简单的命令行操作，你可以轻松地在视频中追踪指定对象，无论是从摄像头还是视频文件中获取。 项目介...
【目标跟踪】|STARK
qq_35608277的博客
07-01 3927
本文使用transformer集成时间上下文信息 通过更新输入的动态模板（文中设置200帧），获得时间上下文信息，再利用transformer进行处理 transformer 本身对空间上下文具有更好的建模能力新架构包含三个关键组件：编码器、解码器和预测头。编码器接受初始目标对象、当前图像和动态更新模板的输入。输入是由一个搜索区域和两个模板组成的三元组。它们来自主干的特征首先被展平并连接，然后发送到编码器。 编码器中的自注意力模块通过其特征依赖性学习输入之间的关系。由于模板图像在整个视频序列中更新，编码器可
ICCV2021跟踪算法Stark的配置（Learning Spatio-Temporal Transformer for Visual Tracking）
博博有个大大大的Dream
11-09 5183
1、论文下载 Learning Spatio-Temporal Transformer for Visual Tracking.ICCV (2021). [paper] 2、代码下载 GitHub - researchmm/Stark: [ICCV'21] Learning Spatio-Temporal Transformer for Visual Tracking 3、环境配置 因为TransformerTrack是基于pytracking来配置，所以我们直接使用已经配置好的pytrac...
STARK & STARK_LT 复现（2021）
blainet的博客
04-13 4148
文章目录一、STARK1.1 环境搭建1.1.1 使用 shell 命令直接进行安装1.1.2 使用 `requirements.txt` 安装（强烈推荐）找到需要 pip install 的包1.1.3 使用 `environment.yml` 安装（不推荐）二、STARK_LT 一、STARK github 主页：https://github.com/researchmm/Stark 1.1 环境搭建 OS: Ubuntu18.04 LTS CUDA: 11.1 TORCH: 1.8.1 创建一
【目标跟踪】|stark配置 win otb
qq_35608277的博客
06-29 1272
运行之后会生成如下两个文件 直接运行test 会报错 原因是路径问题，在local中所有路径前面加上r即可。 更改准备测试的数据集路径如果不行更改environment.py 中绝对路径在工程中新建checkpoints/train/stark_st2/路径，然后将下载的预训练模型放到里面 测试otb 修改test.py 中的参数 注意， 当再次运行时，需要将上次结果删除，否则无法运行analysis_results.py 没有latex字体在lib/test/analysis/plot_results.
基于transformer的中文命名实体识别.zip
04-15
Transformer模型由Google在2017年提出，它通过自注意力（Self-Attention）机制替代了传统RNN和CNN模型中的序列依赖，实现了并行计算，提高了训练速度，并且在多个NLP任务上取得了突破性的效果。Transformer模型的...
多先验融合的图像显著性目标检测算法_董本志.pdf
09-03
本文主要介绍了一种名为MPLRR（Multiple Prior Fusion for Low Rank Recovery）的图像显著性目标检测算法，由董本志、于尚书和景维鹏共同提出。该算法旨在提高图像中显著性目标检测的准确性，尤其针对那些偏离图像...
融合纹理和颜色特征的显著目标检测.pdf
12-15
实验部分，论文在MSRA和ECSSD两个公开数据集上对比了提出的算法与其他六种算法，结果显示提出的算法在综合性能上优于其他算法，无论是在目标的尺度变化还是数量变化的情况下，都表现出较高的适应性和稳定性。...
屠榜CV还不是这篇论文的终极目标，它更大的目标其实是⋯⋯.pdf
08-12
然而，MSRA的一篇名为《Swin Transformer: Hierarchical Vision Transformer using Shifted Windows》的论文打破了这一格局，Swin Transformer在CV各大榜单上取得优异成绩，预示着Transformer有可能成为CV的新一代...
STARK代码详细学习笔记
m0_37412775的博客
10-20 4881
STARK代码学习笔记前言一、环境安装二、设置项目路径三、训练STARK四、测试STARK1. 下载预训练模型2. 准备测试数据集五、STARK代码细节 前言 本文记录了STARK代码学习阶段的步骤，核心内容从原作者的github中搬运，对于部分内容（如不同数据集的测试语句）仅以一个为例进行展示，详细请查看原github页面。 code链接：https://github.com/researchmm/Stark paper链接：https://arxiv.org/abs/2103.17154 STARK
Stark阅读笔记
weixin_43390051的博客
04-21 2966
Learning Spatio-Temporal Transformer for Visual Tracking "Stark"阅读笔记MotivationContributionArchitechture Stark是最新的SOTA跟踪模型，在多个benchmark上，如Got-10k，LaSOT上都取得了state-of-the-art的效果，并且比另一SOTA模型Siam R-CNN的速度快了6倍。 Motivation 近年来比较流行的tracker，都是基于卷积神经网络线下学习以及做onlin
单目标跟踪数据集sampler
m0_37412775的博客
09-09 261
4. 分别从[base_frame_id - max_gap, base_frame_id]和(base_frame_id, base_frame_id + max_gap]中采样一系列train frames和test frames, 需要注意的是只有visible的帧才会被采样；# 3. 在该视频序列中确定template_frame_ids和search_frame_ids（要求，visible且间距不超过max_gap）# 1. 任选一个数据集，如Lasot;
【STARK论文翻译阅读】
hai0915的博客
08-07 1092
ICCV2021 同时利用时间信息和空间信息的基于transformer的目标跟踪
目标跟踪之Pytracking系列代码训练(ATOM\DiMP\PrDiMP\KYS\Super_DiMP\KeepTrack)
qq_40199447的博客
09-04 7142
参考链接：https://github.com/visionml/pytracking/blob/master/ltr/README.md#ATOM pytracking代码环境配置参考大佬的博客 一、训练模型 待训练数据集路径：修改/ltr/admin/local.py 注：根据ATOM原文的描述，训练ATOM共用到了LaSOT、TrackingNet、COCO 等三个数据集，而代码新增了GOT-10k数据集 self.tensorboard_dir = self.workspace_dir + '/ho
单目标跟踪算法调研（2020）
南城以北的博客
03-18 1027
【代码】单目标跟踪算法调研（2020）
【论文笔记】A Unified Approach for Tracking UAVs in Infrared
m0_61942451的博客
06-05 476
本文设计了一个统一的框架来追踪无人机，包括局部追踪器、相机运动估计模块、边界框回归模块、重检测模块和更新模块。 相机运动估计模块对局部追踪器运动做补偿，然后边界框回归模块来找到一个精准的边框。如果目标丢失了，我们用重检测模块来重新找到目标。我们还利用更新模块来滤掉不靠谱的采样。 多个测试实验证明了我们的框架的有效性和普适性。目标追踪是计算机视觉中的重要任务之一。...
vncserver.exe和msra.exe区别
05-26
vncserver.exe 是一个 VNC 服务器...当用户需要帮助时，他们可以邀请其他人通过 msra.exe 访问他们的计算机，并在他们的计算机上查看和控制桌面。与 VNC 不同，Microsoft 远程协助程序只能在 Windows 操作系统上使用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值