【目标跟踪论文阅读】LTMU：High-Performance Long-Term Tracking with Meta-Updater

最新推荐文章于 2022-09-04 10:26:39 发布
最新推荐文章于 2022-09-04 10:26:39 发布
阅读量2.9k 收藏 20
点赞数 1
分类专栏： 人工智能 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shikamarulyc/article/details/106475316
版权
LTMU是一种针对长时目标跟踪的高性能算法，它通过Meta-Updater决定何时更新模型，避免在线更新引入噪声。该算法在SiamRPN-based和ATOM方法上进行了应用，通过一个验证器和LSTM模型来判断更新时机，提高了长时跟踪的准确性和鲁棒性。在VOT2019、OxUvALT和LaSOT等数据集上展示了优越性能。
摘要由CSDN通过智能技术生成

文章目录

问题记录

  1. meta-learner 如何决定是否进行模型更新，其结构是什么
  2. local tracker，verifier，SiamRPN-based re-detector，meta-updater的架构是什么样
  3. 是否可以尝试在其他跟踪器上使用
  4. 平均峰相关能量，PR，MAX-PSR
  5. 距离测量
  6. 各种损失函数适用范围
  7. LSTM

动机

  1. 目标跟踪算法的研究重点从短时跟踪向长时跟踪发展，因为长时跟踪更贴近实际生活应用，目前长时跟踪数据库的视频序列时间多在1分钟以上
  2. 长时跟踪，要求跟踪器具备应对目标消失又重现的重检测额能力
  3. 目前的跟踪器，适用于长时跟踪的在线更新跟踪器速度慢，基于短时跟踪的离线训练跟踪器速度快但不适于长时跟踪；很少有人尝试直接在离线训练的短时跟踪器上使用在线跟踪策略以优化局部跟踪效果，增强重检测能力
  4. 在线跟踪策略是一把双刃剑，即可以更新目标和背景信息的同时，也会引入噪声污染样本

主要贡献

  1. 设计一款离线训练的元学习器，根据跟目标的外观，位置，分类置信度变化决定什么条件下进行模型更新
  2. 一种新的跟踪框架，应用于SiamRPN-based方法和ATOM，一个在线验证器，一个使用元学习更新策略的在线局部跟踪器
  3. 在VOT2019,OxUvALT,LaSOT等数据库上的验证实验证明了算法的有效性

相关工作

长时跟踪框架</

最低0.47元/天 解锁文章
shikamarulyc
关注
  • 1
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
CVPR2020ORAL 长时目标跟踪LTMU
JianqiuChen的博客
09-25 562
Motivation： 设计了一个由多层lstm组成的meta-updater，用来控制模板更新从而实现online-updated tracker。 paper： code： meta-updater xt∈Rd×1x_t ∈ R^{d\times 1}xt​∈Rd×1 is a column vector concentrated by stC,stA,vtRs^C_t , s^A_t , v^R_tstC​,stA​,vtR​ , and btb_tbt​. Appearance Cue: s.
Github 2024-06-13 Go开源项目日报Top10
最新发布
老孙正经胡说
06-13 680
根据Github Trendings的统计，今日(2024-06-13统计)共有10个项目上榜。
目标跟踪之LTMU：High-Performance Long-Term Tracking with Meta-Updater环境配置及代码运行
qq_40199447的博客
10-09 2008
代码地址：https://github.com/Daikenan/LTMU 论文地址： LTMU是CVPR2020的oral，全文重点分析了跟踪过程中经典的模型更新问题。 作者一共在六个state-of-the-art的跟踪器上验证了meta-update的有效性，因此给出了六个trackers的代码，其中论文里面的结果应该是DiMP_LTMU跟踪器（PrDiMP+MU和Super_DiMP+MU的性能更优，但这两个跟踪器是在LTMU发表之后，所以作者也加了进去）。 一、创建虚拟环境 cd DiMP_LTM
黄金时代 —— 深度学习 (多目标跟踪 2021)
LJ的博客
02-07 1490
文章目录引入相关工作Long-term Visual TrackingOnline Update for Visual TrackingLong-term Tracking with Meta-UpdaterFrameworkMeta-UpdaterCascaded LSTMMeta-Update Training LTMU 2020 长期目标跟踪相对于短期目标跟踪 和实际应用更加贴近 大多数长期跟踪器使用的是离线训练的Siamese结构，这样不易受到遮挡干扰等噪声的影响 短期跟踪器是可以有在线更新的
单目标跟踪 （三） 小结
weixin_41386168的博客
11-27 5453
特征： 如果目标快速变形，基于HOG的梯度模板就跟不上了， 如果快速变色，基于CN的颜色模板就跟不上了。 置信度指标: 高置信度更新：只有在跟踪置信度比较高的时候才更新跟踪模型，避免目标模型被污染，减少模型漂移与更新次数，同时提升速度。 1）最大响应值：最大响应分数Fmax。 2）平均峰值相关能量(average peak-to correlation energy,APCE)：反应响应图的波动程度和检测目标的置信水平：（遮挡时波动剧烈） 3）峰值旁瓣比(Peak to Sidel..
【论文翻译】High-Performance Long-Term Tracking with Meta-Updater
页页读
05-12 3113
High-Performance Long-Term Tracking with Meta-Updater 使用元跟新器进行高性能长期跟踪 摘要： 长期视觉跟踪越来越受到关注，因为它比短期跟踪更接近于实际应用。大多数排名靠前的长期追踪者都采用了离线训练的Siamese架构，因此他们无法从短期追踪者在线更新的巨大进步中获益。然而，直接引入基于在线更新的跟踪器来解决长期问题是相当冒险的，因为长期的不确定和嘈杂的观察。在这项工作中，我们提出了一个新颖的离线训练元更新，以解决一个重要但尚未解决的问题:跟踪器是否准
SmartCare: Energy-Efficient Long-Term Physical Activity Tracking Using Smartphones
02-07
SmartCare: Energy-Efficient Long-Term Physical Activity Tracking Using Smartphones
Reliable-Re-detection-for-Long-term-Tracking
05-18
长期跟踪的可靠重新检测长期跟踪中的可靠重检测中提出的重检测框架代码重新检测跟踪器基于装订，而深度重新检测跟踪器将HCF作为基准。 对于重新检测跟踪器，只需启动Matlab并运行runTracker.m即可。 要运行后者的...
Real-Time Long-Term Tracking with Prediction-Detection-Correction
09-26
本资源为IEEE2018年收录的一片会议期刊，适合于目标追踪
MediaPipe Hands On-device Real-time Hand Tracking-带批注.pdf
11-09
MediaPipe Hands On-device Real-time Hand Tracking-带批注.pdf
MDNet视频目标跟踪PyTorch源码（Python 2.7版本）
04-29
本源码是MDNet视频目标跟踪算法在Github上共享的、适用于Python 2.7版本的Python源码。一种可行的运行环境为：CUDA 8.0.61 for Ubuntu 16.04、cuDNN 5.1 for CUDA 8.0、Python 2.7、PyTorch 0.2.0。
MBMD论文以及code
06-07
The winner of VOT2018LT，目标跟踪必读论文之一，long-term tracking必读论文
movement-tracking:上-下-左-右运动跟踪
03-17
实时面部移动跟踪 90行代码将您的面部动作转换为键盘命令。 描述 这是基本的面部运动跟踪，可以将面部运动转换为键盘命令，例如UP-DOWN-LEFT-RIGHT 。 我使用面部标志物来检测脸部并使其鼻子掉下来，以便更好地进行...
MBMD（MobileNet-based tracking by detection algorithm）作者答疑
weixin_30270889的博客
07-12 2036
If you fail to install and run this tracker, please email me (zhangyunhua@mail.dlut.edu.cn) Introduction This repository includes tensorflow code of MBMD (MobileNet-based tracking by detection algor...
Learning Spatio-Temporal Transformer for Visual Tracking——精读笔记
学海无涯，快乐行舟
12-08 2100
本篇精读笔记，对原文重要部分做了严格翻译，如摘要和总结。对正文部分做了提炼，对重点部分突出标注。对参考文献做了分类。本文内容较长，如果时间有限可以直接跳到感兴趣的小节阅读。
单目标视觉跟踪算法研究_2022寒假
IS_MOKE的博客
09-04 1129
单目标视觉跟踪算法研究_2022寒假
LSTM算法原理简介及Tutorial
热门推荐
xuanyuansen的专栏
03-13 10万+
LSTM（Long Short-Term Memory）算法作为深度学习方法的一种，在介绍LSTM算法之前，有必要介绍一下深度学习（Deep Learning）的一些基本背景。目前在机器学习领域，最大的热点毫无疑问是深度学习，从谷歌大脑（Google Brain）的猫脸识别[1]，到ImageNet比赛中深度卷积神经网络的获胜[2]，再到Alphago
计算机视觉中，究竟有哪些好用的目标跟踪算法（下）
weixin_33910460的博客
10-24 509
五 VOT2015竞赛VOT2015 Challenge | Home（http://votchallenge.net/vot2015/） 如期而至，这一年有60个精挑细选的序列，62个tracker，最大看点是深度学习开始进击tracking，MDNet直接拿下当年的冠军，而结合深度特征的相关滤波方法DeepSRDCF是第二名，主要解决边界效应的S...
mediapipe hands: on-device real-time hand tracking
07-08
### 回答1： MediaPipe Hands是一种基于设备的实时手部追踪技术。它是由Google开发的计算机视觉库MediaPipe的一部分，旨在通过摄像头捕捉的视频流对手部进行准确的实时追踪。 Mediapipe Hands利用了深度学习模型和机器学习算法，能够识别视频中出现的双手，并对它们的位置和手势进行跟踪。这项技术可以应用在许多领域，包括虚拟现实、增强现实、手势识别和手势控制等。例如，在游戏中，可以使用Mediapipe Hands实时追踪玩家的手势，将其转化为虚拟角色在游戏中进行相应的动作。 Mediapipe Hands的一个显著特点是其在设备上的实时性能。相比于传统的手部追踪方法，Mediapipe Hands能够在保持高准确性的同时，实现实时的处理和反馈。这得益于其优化的模型架构和高效的计算算法。作为一种基于设备的解决方案，Mediapipe Hands无需依赖云端服务或高性能硬件，可以在较低功耗和资源受限的设备上运行。 此外，Mediapipe Hands还支持多个手势的识别和跟踪。它可以检测手的位置、边界框、手指的位置和手势类别，例如拇指的弯曲、手掌的张开和手势的连续跟踪。这种多样性使Mediapipe Hands成为一个强大而灵活的工具，适用于不同的视觉和交互应用。 总之，Mediapipe Hands是一种基于设备的实时手部追踪技术，具有高准确性、低延迟和多功能的特点。它为虚拟现实、增强现实、手势识别和控制等应用领域提供了一种简单而可靠的解决方案。 ### 回答2： MediaPipe Hands是一个由Google开发的机器学习技术，用于在设备上实现实时手部追踪。它基于深度学习模型，可以从设备的摄像头中识别和跟踪手部的动作和位置。 Mediapipe Hands使用的模型经过训练，可以识别手部的21个关键点，包括手指的关节和指尖。它可以在设备上实时分析摄像头捕捉到的图像，并进行准确的手部追踪。这种技术可以用于手势识别、手势控制和虚拟现实等应用领域。 相比于传统的基于云端的手部追踪技术，Mediapipe Hands的优势在于其实时性和隐私性。由于模型是在设备本地运行，不需要依赖于云端的计算资源，因此可以实现即时的反馈和交互。同时，所有的图像和手部数据都在设备上进行处理，保护了用户的隐私。 除了实时追踪手部的动作和位置外，Mediapipe Hands还可以提供手势识别的功能。通过识别手部的动作和位置，它可以判断用户是点击屏幕、捏取物体还是做出其他手势。这种手势识别能够为用户提供更自然、直观的交互体验，并且可以被广泛应用于手机、平板电脑、AR/VR设备等不同类型的设备上。 总之，Mediapipe Hands是一项强大的机器学习技术，能够在设备上实现实时的手部追踪和手势识别。它为用户提供了更直观、自然的交互体验，并且保护了用户的隐私。这项技术具有广泛的应用潜力，可以用于各种不同的设备和场景。 ### 回答3： Mediapipe Hands是一项在设备上实时手部追踪技术，由谷歌开发。它利用神经网络模型和计算机视觉技术，能够精确地检测和跟踪人手的动作和姿势。 这项技术主要适用于在移动设备和嵌入式系统上进行手部追踪。相比于传统的云端追踪方案，Mediapipe Hands使用了高效的计算机视觉算法，能够在设备本地实时进行处理，无需依赖云端网络服务，有效提高了实时性和隐私性。 利用Mediapipe Hands技术，用户可以通过摄像头捕捉手部的位置和动作，实现手势识别、手势控制等功能。这项技术可以广泛应用于移动游戏、虚拟现实、增强现实、手势交互和人机界面等领域。 Mediapipe Hands的优势在于其快速准确的手部追踪能力。它能够将手部的关键点（如手指、掌心等）精确地识别和跟踪，实现高精度的手部姿势估计。而且，由于是在设备上进行实时处理，其响应速度非常快，可以满足实时交互的需求。 总体而言，Mediapipe Hands是一项在设备上实时追踪手部动作和姿势的技术。它的应用范围广泛，可以用于移动设备和嵌入式系统，提供高精度的手部追踪功能，为用户带来更加现实、交互友好的体验。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值