TPAMI 2024 | MixFormer: 基于迭代混合注意力的端到端跟踪

最新推荐文章于 2024-08-21 08:24:53 发布
最新推荐文章于 2024-08-21 08:24:53 发布
阅读量489 收藏
点赞数 12
分类专栏： 论文解读 IEEE TPAMI 文章标签： TPAMI 论文解读 注意力机制 端到端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42722197/article/details/139901886
版权
论文解读 IEEE TPAMI 专栏收录该内容
303 篇文章 21 订阅 ¥59.90 ¥99.00
订阅专栏

题目：MixFormer: End-to-End Tracking With Iterative Mixed Attention

MixFormer: 基于迭代混合注意力的端到端跟踪

作者： Y. Cui; C. Jiang; G. Wu; L. Wang

摘要

视觉目标跟踪通常采用多阶段流水线，包括特征提取、目标信息集成和边界框估计。为了简化这一流程并统一特征提取和目标信息集成的过程，本文提出了一种紧凑的跟踪框架，称为 MixFormer，基于 transformers 构建。我们的核心设计是利用注意力操作的灵活性，提出了一种混合注意力模块（MAM），用于同时进行特征提取和目标信息集成。这种同步建模方案使我们能够提取目标特定的判别特征，并在目标和搜索区域之间进行广泛的通信。基于 MAM，我们通过堆叠多个 MAM 并在顶部放置一个定位头，简单地构建了我们的 MixFormer 跟踪器。具体来说，我们实例化了两种类型的 MixFormer 跟踪器，一种是分层跟踪器 MixCvT，另一种是非分层简单跟踪器 MixViT。对于这两种跟踪器，我们研究了一系列预训练方法，揭示了监督预训

了解本专栏 订阅专栏 解锁全文
小白学视觉
关注
专栏目录
订阅专栏
TPAMI 2024 | PathNet: 基于路径选择的点云去噪
小白学视觉
07-29 699
当前的点云去噪(PCD)模型优化单一网络，试图使其参数适应于大量点云池中的每个点。这种去噪网络范式忽略了不同点通常受到不同程度的噪声干扰，并且它们可能传达不同的几何结构。因此，噪声和几何的复杂性带来了包括残留噪声、错误平滑的边缘和去噪后形状扭曲等副作用。我们提出了PathNet，一种基于强化学习(RL)的路径选择性PCD范式。与现有工作不同，PathNet能够动态选择每个点最合适的去噪路径，最佳地将其移动到其底层表面上。除了首次提出路径选择性PCD框架外，我们还有另外两个贡献。
TPAMI 2024 |NaturalSpeech: 具有人类水平质量的端到端文本到语音合成
小白学视觉
07-19 194
近年来，文本到语音（TTS）系统在学术界和工业界都取得了快速进步。一些自然的问题随之而来，例如TTS系统是否能够达到人类水平的质量，如何定义/判断这种质量，以及如何实现它。在本文中，我们首先基于主观测量的统计显著性定义了人类水平的质量，并引入适当的指南来判断它，然后开发了一个名为NaturalSpeech的TTS系统，在基准数据集上实现了人类水平的质量。
MixFormer学习笔记
qq_43437453的博客
05-23 2220
视觉对象跟踪通常采用特征提取、目标信息集成和边界框估计的多阶段管道。为了简化这一流程，并统一特征提取和目标信息集成的过程，本文提出了一种基于转换器的紧凑跟踪框架MixFormer。我们的核心设计是利用注意力操作的灵活性，并提出一种混合注意力模块(MAM)来同时进行特征提取和目标信息整合。这种同步建模方案允许提取特定于目标的区分特征，并在目标和搜索区域之间进行广泛的通信。基于 MAM，我们只需通过堆叠多个 MAM 并将定位头放在顶部来构建我们的 MixFormer跟踪器。
单目标追踪——【Transformer】MixFormer: End-to-End Tracking with Iterative Mixed Attention
qq_42312574的博客
08-25 1427
本文的出发点是认为现有的多阶段Siamese追踪框架【特征提取-特征融合-边界框预测】的前两步【特征提取-特征融合】统一完成。【特征融合】是对template、Search Region特征进行融合。是将template、Search Region的图片像素拼在一起，利用自注意力机制完成特征提取增强、交叉注意力机制完成特征交叉融合。以上提到的其实是考虑到空间特征，而从时序上考虑，则应用模板更新策略，以应对遮挡等挑战。这个模块的作用既提取特征也融合特征。自注意力（self-attention）提取。...
MixFormer 开源项目教程
最新发布
gitblog_00390的博客
08-21 898
MixFormer 开源项目教程 MixFormer[CVPR 2022 Oral] MixFormer: End-to-End Tracking with Iterative Mixed Attention 项目地址:https://gitcode.com/gh_mirrors/mi/MixFormer 项目介绍 MixFormer 是一个基于深度学习的图像处理项目，专注于图像混合和增强技术。...
CVPR-2022- MixFormer: End-to-End Tracking with Iterative Mixed Attention 阅读笔记
菜菜子hoho的博客
04-23 1312
目录端到端的MixFormer跟踪整体框架Mixed attention module (MAM)基于角的定位头基于查询的定位头分数预测模块（SPM） 论文地址： https://arxiv.org/abs/2203.11082 代码地址： https://github.com/MCG-NJU/MixFormer 端到端的MixFormer跟踪整体框架 它只由一个基于MAM的主干和一个定位头组成，MAM为混合注意模块（Mixed Attention Module），用来完成特征提取和目标信息合并的过程。S
MixFormer: End-to-End Tracking with Iterative Mixed Attention
wang15771397344的博客
08-23 356
核心：用 transfrom 架构整合特征提取和特征融合主流的跟踪框架分三步：特征提取、特征融合、预测头分类回归其中特征融合是关键，下图展示了不同的融合方法。（摘自解决方案：提出一个通用的 transformer 结构同时进行特征提取和特征融合。
MixFormer: End-to-End Tracking with Iterative Mixed Attention解读
IS_MOKE的博客
04-16 3112
MixFormer: End-to-End Tracking with Iterative Mixed Attention 代码、文章： https://github.com/MCG-NJU/MixF ormer. Abstract 跟踪通常采用特征提取、目标信息集成和bbox估计的多级流程。为了简化这一流程，并统一特征提取和目标信息集成的过程，我们提出了一个紧凑的跟踪框架，称为MixFormer，建立在Tranformer上。我们的核心设计是利用注意力操作的灵活性，提出了一种混合注意模块(MAM)，用于特
【论文速递】CVPR2022 - MixFormer：使用迭代混合注意进行端到端跟踪
Never_moresf的博客
02-12 1370
跟踪通常使用多阶段的特征提取、目标信息整合和边界框估计pipeline。为了简化这一pipeline，统一特征提取和目标信息整合的过程，我们提出了一个以transformer为基础的紧凑跟踪框架，称为Mixformer。我们的核心设计是利用注意力操作的灵活性，提出了一个混合注意模块（MAM），用于同时进行特征提取和目标信息集成。该同步建模方案允许提取特定目标的鉴别特征，并在目标和搜索区域之间进行广泛的通信。
TPAMI 2024 | MotionDiffuse：基于文本驱动的人体运动生成扩散模型
小白学视觉
07-21 241
人类动作建模是许多现代图形应用的重要组成部分，通常需要专业技能。为了消除普通人的专业技能障碍，最近的动作生成方法可以直接根据自然语言生成人体动作。然而，使用各种文本输入实现多样化和细粒度动作生成仍然具有挑战性。为了解决这个问题，我们提出了MotionDiffuse，这是最早的基于扩散模型的文本驱动动作生成框架之一，它展示了相对于现有方法的几个理想属性。1) 概率映射。与确定性的语言-动作映射不同，MotionDiffuse通过一系列去噪步骤生成动作，在这些步骤中注入变化。2) 现实合成。
TPAMI 2024 | Box2Mask: 基于包围盒的实例分割算法
小白学视觉
08-19 467
与使用像素级掩码标签的全监督方法不同，基于包围盒注释的实例分割利用简单的框注释，最近吸引了越来越多的研究关注。本文提出了一种新颖的单次实例分割方法，即Box2Mask，它将经典水平集演化模型整合到深度神经网络学习中，仅使用包围盒监督就能实现精确的掩码预测。具体来说，输入图像及其深度特征被用来隐式地演化水平集曲线，并且使用基于像素亲和核的局部一致性模块来挖掘局部上下文和空间关系。
MixFormer目标跟踪CVPR2022（代码调试）
dhdhhy的博客
04-26 3977
准备阶段：代码下载、数据集下载，文件配置等，点击地址查看。 代码调试： 1、不运行运行train.py（但因为使用的os.system()不能debug到内部查看） 2、直接运行run_training.py，这里会报错（原因在于arg没有配置好） 参考： def main(): parser = argparse.ArgumentParser(description='Run a train scripts in train_settings.') parser.add_a..
【目标跟踪】|Mixformer
qq_35608277的博客
07-10 855
以往跟踪框架存在的问题：（1）需要多个组件构成；（2）CNN-based方法缺乏全局建模能力；（3）Transformer-based方法仍依赖CNN提取特征，并在高层特征上进行注意力建模。为了克服上述问题，作者把特征提取和信息基础进行统一。首先，使特征提取更具体到跟踪目标，提取更多目标判别性特征。其次，将目标信息更广泛地集成到搜索区域中，从而更好的捕获它们之间的相关性。最后，获得了一个更加紧凑和优雅的跟踪框架，无需显式的集成模块。提出MAM（Mixed Attention Module）同时进行进行特征提
MixFormer：新一代的图像分类与分割模型，引领视觉计算新潮流
gitblog_00070的博客
04-20 945
MixFormer：新一代的图像分类与分割模型，引领视觉计算新潮流 MixFormer[CVPR 2022 Oral] MixFormer: End-to-End Tracking with Iterative Mixed Attention 项目地址:https://gitcode.com/gh_mirrors/mi/MixFormer 项目简介 是南京大学多媒体计算研究组（MCG）推出的一...
MixFormer(CVPR22)+SBT(CVPR22)
weixin_44062176的博客
03-16 896
track方向会议总结
MixFormer v2(NIPS23)
weixin_44062176的博客
01-29 641
对MixFormer v2的总结
MixFormerV2 Efficient Fully Transformer Tracking（CVPR2023）学习笔记
qq_43437453的博客
06-11 1036
本文提出了一种名为MixFormerV2的高效全Transformer跟踪框架，它不仅能够保持高精度，而且能够在GPU和CPU平台上实现高效部署。其核心设计是引入四个特殊的预测tokens，并将它们与目标模板和搜索区域的tokens连接起来，然后在这些混合的tokens序列上应用统一的Transformer骨干。这些预测tokens能够通过混合的注意力机制来捕捉目标模板和搜索区域之间的复杂关系。此外，本文还提出了一种基于蒸馏的模型压缩范式，包括稠密到稀疏的蒸馏和深到浅的蒸馏。
MixFormer（论文解读与代码讲解）3
dhdhhy的博客
05-22 1414
Stage2，Stage3，就是stage1的重复，但Stage2中block会重复4次，Stage3中block会重复16次 具体细节就不多讲了 for i in range(self.num_stages): template, online_template, search = getattr(self, f'stage{i}')(template, .
MixFormer（论文解读与代码讲解）1
dhdhhy的博客
04-27 4763
论文地址，代码地址 动机：打破CNN做backbone的僵局。 贡献： 1、依靠迭代的混合注意力机制（MAM）设计端到端的跟踪模块，可以代替CNN实现特征的提取，可以代替互相关操作实现模板与搜索图像之间的关联。 2、在MAM中设计了一个定制的非对称关注作用于在线模板更新，，并提出了一个有效的评分预测模块来选择高质量的模板。 3、性能优异 Mixed Attention Module (MAM) ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白学视觉

您的赞赏是我们坚持下去的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值