【目标跟踪】FlowTrack：End-to-end Flow Correlation Tracking with Spatial-temporal Attention

最新推荐文章于 2024-08-01 22:26:03 发布
最新推荐文章于 2024-08-01 22:26:03 发布
阅读量5.9k 收藏 14
点赞数 5
文章标签： 计算机视觉 目标跟踪 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qinhuai1994/article/details/80461271
版权
FlowTrack是CVPR2018提出的一种利用光流关联进行目标跟踪的方法，强调帧间信息的利用。通过空间和时间注意力机制，结合历史帧特征和当前帧信息，提高跟踪的鲁棒性。实验表明，该方法在OTB100和VOT2016上表现出良好的精度，虽然非实时但速度快于同类深度网络方法。
摘要由CSDN通过智能技术生成

来自CVPR2018的一篇文章
原文链接：
End-to-end Flow Correlation Tracking with Spatial-temporal Attention

Motivation

作者认为目前的算法大都只考虑了目标在当前帧的表观特征，对帧间信息利用太少，而tracking本身是基于视频序列做的——这无疑是一种浪费，同时也会降低跟踪器的性能。所以作者提出了一种flow correlation tracker 的思想，用光流来利用时序信息。

Contribution

  • 提出FlowTrack（main contribution）
  • 提出一种空间&时间的注意力策略

Flow Track

这里写图片描述
主要的网络还是比较简单的，上面的蓝色part是histroical branch（相当于模版分支），前若干帧 i 都和t-1帧做光流，然后用光流warp 第 i 帧的feature，最后把这些warp之后的特征merge到一起，得到一个比较好的特征。
作者这样做的目的是：能够用前 i 帧的特征修补t-1帧的特征。比如，当t-1帧的目标在发生形变或部分遮挡时，t-1的特征可能并不能很好的表征当前的目标&#

最低0.47元/天 解锁文章
二千丶
关注
文献学习(part44)--Aberrance suppresse dspatio-temporal correlation filters for visual object tracking
小山羊的学习日志
03-22 298
学习笔记，仅供参考，有错必纠 关键词:视觉对象跟踪；相关滤波器；时空信息；彻底的改变 Aberrance suppresse dspatio-temporal correlation filters for visual object tracking 摘要 本研究的目的是设计一种基于相关滤波的鲁棒视觉目标跟踪方法。在文献中，已经提出了许多基于鉴别相关滤波的跟踪方法，并且获得了令人印象深刻的性能。然而，现有的算法仍然面临着诸如部分遮挡、杂波背景、不确定性、边界效应(尤其是当目标搜索区域很小时)和其他
CVPR2021目标跟踪论文汇总
qq_41897154的博客
12-10 1413
CVPR2021目标跟踪论文，共17篇 Rotation Equivariant Siamese Networks for Tracking Rotation is among the long prevailing, yet still unresolved, hard challenges encountered in visual object tracking. The existing deep learning-based tracking algorithms use regular C
STA: Spatial-Temporal Attention for Large-Scale Video-based Person Re-Identification
博客
05-14 1356
Abstract In this work, we propose a novel Spatial-Temporal Attention (STA) approach to tackle the large-scale person re-identification task in videos. Different from the most existing methods, which s...
论文阅读笔记 End-to-end Flow Correlation Tracking with Spatial-temporal Attention [2018 CVPR] (FlowTrack)
zxgravity的博客
08-25 2309
先给出原文链接：https://arxiv.org/abs/1711.01124v1 代码暂未放出。 该论文核心思想：使用光流信息帮助跟踪。用光流信息指导历史特征融合，得到更好的目标模型，类似于根据光流做了特征对齐。 先上总框架： (1)跟踪使用的特征由Feature CNN提取； (2)光流信息由FlowNet提取； (3)Warp操作指的是在光流的指导下将最近几帧(文章中使用5...
空间域注意力机制（Spatial Attention）
最新发布
kuailezzf的博客
08-01 1675
空间域注意力机制（Spatial Attention）是深度学习中一种重要的注意力机制，用于在处理如图像或视频数据时聚焦于特定区域，以提高模型的性能和效率。举例来说，首先，卷积神经网络处理一张图像，经过特征提取后得到特征图。然后，空间域注意力机制就可以通过计算每个像素点的注意力权重，集中模型的注意力在图像中最重要的区域，例如目标的周围或者有信息丰富的区域。这种机制使得模型能够更有效地处理复杂的视觉任务，提高其性能和泛化能力。
目标跟踪——End-to-end Flow Correlation Tracking with Spatial-temporal Attention
qq_42208244的博客
01-24 3675
FlowTrack CVPR2018
FlowTrack－End-to-end Flow Correlation Tracking with Spatial-temporal Attention(CVPR2018)
lixiaotong95的博客
10-18 978
动机：大多数DCF方法仅考虑当前帧的特征，而很少受益于运动和帧间信息。发生遮挡和形变时，时间信息缺失导致性能减低。 本文提出FlowTrack，利用连续帧中丰富的光流信息来改善特征表示和跟踪精度。具体是将光流估计，特征提取，聚合和相关滤波器跟踪制定为网络中的特殊层，从而实现端到端学习。这种在深度学习的框架中联合训练光流和跟踪任务的做法是第一次被提出。 然后在重新定义的间隔处，历史特征图被扭曲(...
End-to-end Flow Correlation Tracking with Spatial-temporal Attention 阅读笔记
aiqiu_gogogo的博客
03-10 1338
占坑。。。。。（这两天好忙啊）
《Learning Spatially Regularized Correlation Filters for Visual Tracking》---文献理解翻译
weixin_45032769的博客
12-13 1173
这是cfnet中的8号引用文献,和13一样都是对边界问题进行阐述的,稍微阅读以一下,有助于理解. Abstract 准确的视觉跟踪是计算机视觉领域最具挑战性的问题之一。由于训练数据的固有不足一种鲁棒的目标外观模型构建方法至关重要。近年来，有选择地学习相关滤波器(DCF)被成功地应用于跟踪这一问题。这些方法利用训练样本的周期性假设来有效地学习目标邻域内所有patch上的分类器。然而，周期性假设也引入...
CVPR,ECCV,ICCV14-17年视觉目标追踪论文汇总
u014553172的博客
01-03 3132
近三年来计算机数据三大顶会有关单目标视觉追踪的文章汇总 2017CVPR CVPR-17-1-Superpixel-Based Tracking-By-Segmentation Using Markov Chain CVPR-17-2-BranchOut: Regularization for Online Ensemble Tracking With Convolutional Neura
FlowTrack:具有 Web 前端的多合一 Netflow 收集器。 专为小型网络设计
06-04
在这一点上基本上不理会这一点。 如果有兴趣我会继续更新。 将努力转移到 注意：配置文件位置的命令行选项并不完全有效，部分软件仍然假设 ./flowTrack.conf 这是由跟踪的 关于 FlowTrack 旨在侦听和记录 netflow (v5) 流量。 我的目标是使安装尽可能简单。 无需配置外部网络服务器或数据库。 当您运行 FlowTracker 时，将启动一个小型网络服务器，并启动一个网络流收集器。 最初，我专注于功能集和安装的简单性。 可扩展性现在是次要问题。 我正在以非常轻的交通进行测试。 换句话说，这可能会在高负荷下熔化。 如果您尝试在高负载下运行它，请告诉我它是怎么回事。 我很想知道你是否在使用它。 问题？ 错误？ 功能要求？ 在上将它们作为问题打开 查看路线图（下方），大致了解状态。 安装使用 要求 （我可能会在此列表中添加新内容，例如 rrdtool）： 工作
End-to-end Flow Correlation Tracking with Spatial-temporal Attention && SINT && deep motion feature
surprising
11-13 755
发表在CVPR2018，是朱政老师的一篇文章，论文链接：FlowTrack 这篇文章提出的跟踪器叫作FlowTrack(an end-to-end framework for flow correlation tracking) ,是在具有深度卷积特征的DCF（discriminative correlation filters）上进行加入了flow information，提高了特征表示和跟踪...
论文笔记End-to-end flow correlation tracking with spatial-temporal attention
u011609063的博客
11-05 571
论文笔记End-to-end flow correlation tracking with spatial-temporal attention1. 标题及来源2. 阅读目的3. 领域4. 拟解决的问题5. 提出的方法5.1 算法概要5.2 Spatial-temporal attention module6. 结果6.1 OTB-2013实验结果6.2 OTB-2015实验结果6.3 VOT-2...
FlowTrack:End-to-end flow correlation tracking with spatial-temporal attention
qq_38198853的博客
12-21 490
发表于CVPR2018，论文链接 亮点：将光流信息考虑了进去（这样就把帧间信息考虑了进去）提出了spatial-temporal注意力机制来调整各部分特征的权重。 网络结构图：  网络分为historical branch 和current branch，前者提取前T-1帧（文章中T取6）的图像特征，并将其warp到t-1的特征中。 具体地，通过FlowNet提取光流信息，Featur...
Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting
小蚂蚁与大象
06-06 1064
Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting 交通流预测是交通领域研究人员和实践者的一个关键问题。然而，由于交通流通常具有高度的非线性和复杂的模式，这是非常具有挑战性的。现有的大多数交通流预测方法缺乏对交通数据动态时空相关性建模的能力，无法获得满意的预测结果。本文提出了一种新的基于注意力的时空图卷积网络(ASTGCN)模型来解决交通流预测问题。ASTGCN主要由三个独立组
FlowTrack论文详解： 朱政- 高性能单目标跟踪算法的探索
计算机视觉
06-06 1116
以下是b站视频 朱政讲解的内容笔记：https://www.bilibili.com/video/av33603018 相关滤波分支 mosse kcf c-cot ECO 深度学习分支 DLT SODLT MDnet SIAM FC CFnet DCFnet FOLWTRACK SIAMRPN DASIAMRPN 数据集 DAVIS 视频分割的...
【FlowTrack（CVPR2018）】：目标跟踪论文阅读
sinat_31184961的博客
03-22 1476
End-to-end Flow Correlation Tracking with Spatial-temporal Attention 论文地址 写在前面 这是中科院大大朱政在商汤实习的时候做的，发表在2018年的CVPR上，文中提到这是第一篇将光流法和深度跟踪端到端训练的方法，他们使用的光流法就是2016年提出的FlowNet，文章只是将其拿过来重新训练了一下，没有太多讲其中的结构，而且朱政也...
论文笔记5 --（ReID）Diversity Regularized Spatiotemporal Attention for Video-based Person Re-id
对角巷
12-20 2463
https://arxiv.org/pdf/1803.09882.pdf Abstract
时空上下文的序列多标签视频注释：SVM-SML方法
"序列多标签：具有时空上下文的统一视频注释方案" 本文主要探讨了自动视频注释在内容为基础的视频索引和检索中的重要性，并提出了一个新的方法，即序列多标签（Sequence Multi-Labeling，SML），用于解决视频注释的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值