MixFormer(CVPR22)+SBT(CVPR22)

最新推荐文章于 2024-04-20 09:43:43 发布

灏宝冲冲冲

最新推荐文章于 2024-04-20 09:43:43 发布

阅读量823

点赞数 1

分类专栏： track 文章标签：深度学习 transformer 计算机视觉

本文链接：https://blog.csdn.net/weixin_44062176/article/details/129591004

版权

track 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

两篇和OSTrack思想相似的文章，都是22年的A。细节有差别但总体思想无区别

MixFormer: End-to-End Tracking with Iterative Mixed Attention

目前got10k上rank-1
主要贡献点：
1.将feature extraction和relation modeling用transformer统一，模型框架更简单直接，也不需要后处理、positional embedding。
2.非对称attention，q序列长度<kv，减少计算量。
3.两种head，一种参考stark的corners head设计了全卷积head直接计算tf和br预测值，一种引入额外的score token和search ROI token、target token计算attention，输出接三层mlp得到结果。

论文链接
 代码链接

encoder部分
网络的核心----MAM组件，template和search切patch，分别过一个DW卷积块。得到的输出为 $q_t$ 和 $q_s$ 。对两部分的k和v进行concat，开始非对称attention。

整体架构如图，三个stage，每个stage堆叠N个MAM模块，输出接到head上。

作者提出的score head，性能比stark的corner head稍微差了一些，论文中AUC从68.4降低到66.0，个人总结更喜欢score head。

Correlation-Aware Deep Tracking

代码目前尚未开源
论文链接

在这里插入图片描述

结构和其它tranformer-based tracker相似，就不展开分析了，实验细节总结很详细，有借鉴意义。
1.patch embedding使用7*7，stride=4卷积+LN
2.template为q search为kv
3.条件位置编码
4.MLP用了空间mlp和channel mlp
5.在low-level用cross-attention、整体多用cross-attention且之间需要穿插self-attention