香港大学等提出TransTrack：基于Transformer的多目标跟踪

最新推荐文章于 2024-08-15 09:47:27 发布
最新推荐文章于 2024-08-15 09:47:27 发布
阅读量5.2k 收藏 24
点赞数 1
分类专栏： Transformer 计算机视觉论文速递 多目标跟踪 文章标签： 人工智能 算法 机器学习 计算机视觉 目标跟踪
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/amusi1994/article/details/112095670
版权

首次展示了一种基于query-key机制的简单有效的方法，在MOT17上实现65.8％的MOTA，代码刚刚开源！

PS：目前看来，目标检测、实例分割、语义分割主流CV方向均被Transformer"攻克"了，这篇是多目标跟踪，但似乎单目标跟踪还没被Transformer"攻克"（等看谁家手速快，且work了）

注：文末附【目标跟踪】和【Transformer】交流群

TransTrack: Multiple-Object Tracking with Transformer

在这里插入图片描述

  • 作者单位：港大(罗平团队), 字节AI Lab, 同济, CMU, 南洋理工大学
  • 代码：https://github.com/PeizeSun/TransTrack
  • 论文：https://arxiv.org/abs/2012.15460

TransTrack

多目标跟踪（MOT）主要由复杂的多步tracking-by-detection算法控制，该算法分别执行目标检测，特征提取和时间关联。

单目标跟踪（SOT）中的query-key机制通过前一帧的对象特征跟踪当前帧的对象，具有建立简单的联合检测和跟踪MOT范例的巨大潜力。但是，由于query-key方法无法检测到新出现的对象，因此很少进行研究。

最低0.47元/天 解锁文章
Amusi（CVer）
关注
专栏目录
TransTrack: Multiple-Object Tracking with Transformer
阿木寺的博客
01-02 1826
首次展示了一种基于query-key机制的简单有效的方法，在MOT17上实现65.8％的MOTA，代码刚刚开源！ PS：目前看来，目标检测、实例分割、语义分割主流CV方向均被Transformer"攻克"了，这篇是多目标跟踪，但似乎单目标跟踪还没被Transformer"攻克"（等看谁家手速快，且work了） 注：文末附【目标跟踪】和【Transformer】交流群 TransTrack: Multiple-Object Tracking with Transformer 作者单位：港大(罗平团队),
TransTrack:使用变压器进行多目标跟踪
03-08
TransTrack：使用Transformer进行多对象跟踪 介绍 楷模 训练数据 训练时间 验证MOTA 下载 36小时+ 1小时 65.4 36小时 53.8 8小时 61.6 的型号也可以通过代码m4iv获得。 笔记 评估人群训练模型和mot训练模型使用不同的命令行，请参阅步骤。 我们观察到大约1 MOTA噪声。 如果您不希望得到自训练模型的MOTA，则有时--track_thresh会带来更好的性能。 培训时间是在8个NVIDIA V100 GPU上进行，批量大小为16。 我们使用在imagenet上预先训练的模型。 演示版 安装 该代码库建立在和之上。 要求 Linux，CUDA> = 9.2，GCC> = 5.4 的Python> = 3.7 PyTorch≥1.5和的PyTorch安装相匹配。 您可以在它们一起安装以确保这一点 OpenCV是可选的，演示和
TransTrack: Multiple Object Tracking with Transformer
HUTAOhh的博客
05-12 1047
摘要 TransTrack利用transformer架构，这是一种基于query-key机制多目标跟踪方法，就是通过前一帧的对象特征来跟踪当前帧的目标，并对当前帧进行对象检测，以检测新的对象。通过在一次拍摄中完成目标检测和目标关联，简化了检测+跟踪中复杂的多步设置，建立了一种新的联合检测和跟踪MOT范式。 所谓query-key机制，在单目标跟踪中经常被使用，即通过前一帧的对象特征来跟踪当前帧的目标。但是这种机制无法检测新的目标，所以很少用作多目标跟踪中。 其中图a是正常的检测+匹配的目标跟踪，即
基于transformer的单目标跟踪算法学习笔记
zhangzhao147的博客
08-02 1117
目前主流的跟踪方法是基于transformer，而主要方向是1.language-vision tracking 2.人体姿态变化的跟踪3.3d目标跟踪 4.轻量化网络用于无人机端 5.无监督学习＋transformer 6.基于diffusion的目标跟踪 7.大模型辅助sot。
阅读心得： TransTrack: Multiple-Object Tracking with Transformer
01-11 3240
本文的TransTrack利用了Transformer的思想，提出了一种新的联合检测和追踪的新的模型。
论文解读《TransTrack: Multiple-Object Tracking with Transformer》
jackzhang11的博客
03-18 1723
论文地址：https://arxiv.org/pdf/2012.15460.pdf 自从2020年ECCV中DETR在object detection领域惊艳众人以后，这种transformer-based的结构应用到了视觉中很多领域，其中就包括MOT。TransTrack这篇文章应该是transformer第一次应用到MOT上面的尝试，效果SOTA，而且思路个人认为很棒很简洁。 以前的MOT任务都是将detection和reid当作两个独立任务来处理，虽然以JDE、FairMOT为代表的方法将两个网络耦合
多目标追踪——【Transformer】MOTR: End-to-End Multiple-Object Tracking with TRansformer
qq_42312574的博客
11-02 2714
论文链接：https://arxiv.org/abs/2105.03247通常来讲，虽然目标检测与目标跟踪都是CV领域，但由于下端的根本任务不同，所以直接套用肯定有问题，所以要仔细设计。 可以看到，上图的结构解析如下： 此模块的作用是处理目标的出现和消失等情况。图中的分数表示Head预测追踪目标的分类得分。【目的是为TrackTrackTrack QueryQueryQuery 对轨迹与目标的一对一关系建模。】 TALA 有两种策略，分别对应着DetectDetectDetect QueryQueryQue
清华大学提出Pointformer：基于Transformer的3D目标检测
阿木寺的博客
12-22 4565
没错！Transformer的"魔爪"已经伸向3D目标检测了。 Pointformer：用于3D点云的特征学习backbone，可结合并提高现有的3D点云目标检测网络性能，如VoteNet、PointRCNN和CBGS等。 注：文末附【Transformer】和【3D目标检测】学习交流群 Transformer最近在3D点云方向应用的工作可以看一下： 牛津大学等提出：Point Transformer 清华大学提出PCT：Point Cloud Transformer Pointformer 3
优秀毕业设计：基于transformer的序列数据二分类完整代码+数据可直接运行
11-16
最近 Transformer 在统一建模方面表现出了很大的威力，是否可以将Transformer应用到时序异常检测上引起了很多学者的研究兴趣。 最近来自阿里达摩院、上海交通大学的几位学者就近年来针对时间序列场景中的Transformer...
复旦大学提出SETR：基于Transformer的语义分割
热门推荐
阿木寺的博客
01-01 1万+
本文将语义分割视为序列到序列的预测任务，在ADE20K上排名第一！表现SOTA！性能优于OCNet、GCNet等和Axial-DeepLab-XL网络，代码即将开源！ PS：目前看来，目标检测、实例分割、语义分割主流CV方向均被Transformer"攻克"了 注：文末附【语义分割】和【Transformer】交流群 SETR Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers
TUM提出TrackFormer：基于Transformers的多目标跟踪
小白学视觉
03-01 732
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达论文是学术研究的精华和未来发展的明灯。小白决心每天为大家带来经典或者最新论文的解读和分享，旨在帮助各位读者快速了解论文内容。个人能力有限，理解难免出现偏差，建议对文章内容感兴趣的读者，一定要下载原文，了解具体内容。TrackFormer通过注意进行联合目标检测和跟踪。自回归跟踪查询嵌入将过去和未来的帧与基于变压器的注意连接起来，...
推荐文章：TransTrack——基于Transformer的多目标跟踪利器
最新发布
gitblog_00543的博客
08-15 770
推荐文章：TransTrack——基于Transformer的多目标跟踪利器 TransTrackMultiple Object Tracking with Transformer项目地址:https://gitcode.com/gh_mirrors/tr/TransTrack 在计算机视觉领域，多目标跟踪（Multiple Object Tracking, MOT）始终是一个热点且极具挑战的...
【多目标跟踪】Transtrack 单句翻译 耗时3天！！！
颈椎小问题老奶奶的博客
08-24 747
在这项工作中，我们提出了TransTrack，这是一个简单但有效的解决多目标跟踪问题的方案。TransTrack利用了transformer架构，这是一种基于注意力的查询密钥机制。它使用前一帧中的对象特征作为当前帧的查询，并引入一组学习的对象查询，以检测新的对象。它通过在单次拍摄中完成目标检测和目标关联，简化了检测方法跟踪中复杂的多步骤设置，建立了一种新的联合检测和跟踪范式。在MOT17和MOT20基准上，TransTrack分别实现了74.5%和64.5%的MOTA，与最先进的方法相比具有竞争力。
AI论文解读：基于Transformer的多目标跟踪方法TrackFormer
华为云官方博客
06-28 3938
摘要：多目标跟踪这个具有挑战性的任务需要同时完成跟踪目标的初始化、定位并构建时空上的跟踪轨迹。本文将这个任务构建为一个帧到帧的集合预测问题，并提出了一个基于transformer的端到端的多目标跟踪方法TrackFormer。
TransTrack: Multiple Object Tracking with Transformer论文阅读笔记
风行
11-30 3533
(一) Title 论文地址：https://arxiv.org/abs/2012.15460 代码地址：https://github.com/PeizeSun/TransTrack 前言: 本文建立了一种novel joint-detection-and-tracking模型,在一个框架中完成目标检测和跟踪。这是首篇将Transformer引入到MOT任务中 (二) Summary 研究背景 目前MOT中主要有两种方式:tracking-by-detection以及joint-detection-an
利用 Transformer 进行端到端的多目标检测及跟踪（附源代码）
机器学习社区
01-12 1412
现存的用检测跟踪的方法采用简单的heuristics，如空间或外观相似性。这些方法，尽管其共性，但过于简单，不足以建模复杂的变化，如通过遮挡跟踪。01摘要多目标跟踪(MOT)任务的关键挑战是跟踪目标下的时间建模。现存的用检测跟踪的方法采用简单的heuristics，如空间或外观相似性。这些方法，尽管其共性，但过于简单，不足以建模复杂的变化，如通过遮挡跟踪。所以现有的方法缺乏从数据中学习时间变化的能力。在今天分享中，研究者提出了第一个完全端到端多目标跟踪框架MOTR。它学习了模拟目标的长距离时间变化。它隐式地
利用TRansformer进行端到端的目标检测及跟踪（附源代码）
gzq0723的博客
06-25 2628
计算机视觉研究院专栏作者：Edison_G现存的用检测跟踪的方法采用简单的heuristics，如空间或外观相似性。这些方法，尽管其共性，但过于简单，不足以建模复杂的变化，如通过遮挡跟踪。...
【多目标跟踪论文阅读笔记——TransTrack】
selami的博客
12-21 892
[阅读心得] 多目标跟踪经典论文——TransTrack
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值