(OSTrack)Joint Feature Learning and Relation Modeling for Tracking A One-Stream Framework

最新推荐文章于 2025-01-16 16:43:28 发布
最新推荐文章于 2025-01-16 16:43:28 发布
阅读量1.2k 收藏 15
点赞数 3
分类专栏： 深度学习 文章标签： 深度学习 机器学习 人工智能 目标跟踪 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43459829/article/details/129982251
版权
OSTrack是2022年ECCV上提出的一种新的单流跟踪框架，它通过结合特征学习和关系建模，解决了传统两流跟踪器的局限。文章介绍了早期候选消除模块，该模块提高了模型的推理速度并提升了跟踪性能。与双流跟踪器相比，OSTrack能更好地提取面向目标的特征，并且由于使用预训练的ViT模型，收敛速度更快。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

OSTrack阅读笔记


论文链接
代码链接

发表在2022年 ECCV上的一篇文章

动机

目前流行的两流两阶段跟踪框架分别提取模板和搜索区域特征，然后进行关系建模，因此提取的特征缺乏对目标的感知，目标-背景辨别能力有限。为了解决上述问题，我们提出了一种新的单流跟踪(OSTrack)框架，通过将模板搜索图像对与双向信息流连接起来，将特征学习和关系建模统一起来。这样，通过相互引导，可以动态地提取具有鉴别性的面向目标的特征。

贡献

  • 提出了一个简洁高效的单流的跟踪框架；
  • 在Transformer的多头注意力机制中加入了，早期候选消除模块(Early Candidate
    Elimination)，从而加快了模型的推理速度
  • 在许多基准上的大量实验结果表明，该跟踪器的性能明显优于最先进的算法。

跟踪pipeline

这里的pipeline的中文意思翻译成了管道，但是看了网上的帖子，这里翻译成主要解决方案
三种pipeline
其中每个矩形高度表示模型的相对大小/尺寸

跟踪器描述
     a     早期的孪生跟踪器(SiamFC、SiamRPN)和鉴别跟踪器(DIMP、ATOM)属于这种类型，首先通过CNN提取模板和搜索区域的特征，然后再通过后续的关系建模网络来融合这些特征用于后续的任务
b近几年为了更好的进行关系建模，提出了Transformer层，这个关系建模模块模型较大，支持双向的信息交互，代表论文有TransT、STARK。双重结构带来了性能的提升，但不可避免的降低了推理速度
c我们首次将特征提取和关系建模无缝地结合成一个统一的pipeline。该方法在模板和搜索区域之间提供了自由的信息流，且计算量较小。它不仅通过相互引导生成面向目标的特征，而且在训练和测试时间上都是有效的。

网络结构

在这里插入图片描述如有错误，请留言

与双流跟踪器比较

  • 以往的双流Transformer融合跟踪器均采用孪生框架，先分别提取模板和搜索区域的特征，只采用Transformer层对提取的特征进行融合。因此，这些方法提取的特征是不自适应的，可能会丢失一些判别信息，这是无法弥补的。相比之下，OSTrack在第一阶段直接将线性投影的模板和搜索区域图像拼接起来，将特征提取和关系建模无缝地结合在一起，通过模板和搜索区域的相互引导，可以提取出面向目标的特征。
  • 以往的Transformer融合跟踪器只采用ImageNet预训练骨干网，Transformer层随机初始化，收敛速度变慢，而OSTrack得益于预训练的ViT模型，收敛速度更快。
  • 单流框架为进一步提高模型性能和推理速度提供了识别和丢弃无用背景区域的可能性。

候选消除模块

在这里插入图片描述
其中qi、Kz、Kx、V表示令牌hi z的查询向量，表示模板对应的键矩阵，表示搜索区域对应的键矩阵，表示值矩阵。注意权重 w i x w^x_ {i} wix​决定了模板部分 h z i h^i_ {z} hzi​与所有搜索区域标记(候选)之间的相似度。 w i x w^x_ {i} wix​的第j个项(1≤j≤n, n为输入搜索区域令牌数)决定了 h z i h^i_ {z} hzi​与第j个候选项的相似度。然而，当计算目标和每个候选对象之间的相似度时，输入模板通常包含引入噪声的背景区域。因此，与其将每个候选部件与所有模板部件的相似度相加，i = 1，…，Nz，我们取 w x φ w^φ_ {x} wxφ​，其中φ =⌊Wz/ 2⌋+Wz·⌊Hz 2⌋(其中φ−th的token对应于原始模板图像的中间部分)为代表的相似度。这是相当合理的，因为中心模板部分已经通过自我注意聚合了足够的信息来表示目标。
在这里插入图片描述
在编码器层进行多头注意操作后，插入所提出的候选消除模块，如图网络结构中的 b所示。此外，记录所有剩余候选的原始顺序，以便在最后阶段恢复。候选恢复阶段，前面提到的候选剔除模块打乱了候选序列的原始顺序，使得候选序列不可能重新塑造为之前的feature map，因此我们将剩余的候选序列恢复到原始顺序，然后填充缺失的位置。由于丢弃的候选对象属于不相关的背景区域，因此不会影响分类和回归任务。换句话说，它们只是作为重塑操作的占位符。因此，我们首先恢复剩余候选项的顺序，然后在它们之间加零。

实验(简略)

在这里插入图片描述
在这里插入图片描述

OSTrack：Joint Feature Learning and Relation Modeling for Tracking: A One-Stream Framework
m0_61595251的博客
11-18 2125
Abstract问题：传统的双流跟踪框架对目标提取的特征不够具体。特征提取和关系建模是分开进行的，导致算法在区分目标和背景方面的能力有限。两流、两阶段框架容易受到性能-速度困境的影响。解决：提出一种新的单流跟踪框架，OSTrack通过桥接具有双向信息流的模板搜索图像来统一特征学习和关系建模。提出了一种基于单流框架中计算的强相似先验的网络内候选早期消除模块。双流/单流双流框架：①Track-by-detection：检测流+关联流②光流：光流流+特征流。
OSTrack: Joint Feature Learning and Relation Modeling for Tracking: A One-Stream Framework论文和代码结构解读
Soonki的博客
07-13 1037
OSTrack和ODTrack代码结构和内容基本一致，主要是采样方法有所区别代码中使用了很多CE的前缀，比如，vit_ce、ce_block等，这就是单纯的使用了candidate_elimination模块，所以会加一个ce前缀。
OSTrack论文阅读分享（单目标跟踪）
qq_44799766的博客
06-06 1万+
OSTrack论文（尤其是其中的候选消除模块）讲解
arXiv-2022-OSTrack:Joint Feature Learning and Relation Modeling for Tracking: A One-Stream Frame阅读笔记
菜菜子hoho的博客
08-13 3148
所以只保留中k个相似度最大的候选项(k为超参数，保持比ρ = k/n)，其余候选项被淘汰。作者提出了一个早期候选消除模块，在ViT的早期阶段逐步消除属于背景的候选，以减轻计算负担并避免噪声背景区域对特征学习的负面影响。当前流行的孪生的两个阶段的跟踪框架分成模板分支和搜索区域分支来提取特征，然后进行关系建模，因此提取的特征缺乏目标的感知性，对目标-背景的区分能力有限。其中既包含了模板图像和搜索图像的自注意，也包含了两者的交叉注意，自注意作为提取的特征，交叉注意代表了两者之间的关系模型。...
【论文阅读】OSTrack：Joint Feature Learning and Relation Modeling for Tracking A One-Stream Framework
weixin_42200352的博客
02-12 897
Ostrack 文章阅读
Joint Feature Learning and Relation Modelingfor Tracking: A One-Stream Framework
peer_hellojio的博客
02-29 349
具体来说，我们将展平的模板和搜索区域连接起来，并将它们输入到质押的自注意力层中[44]（在我们的实现中选择了广泛使用的视觉变换器（ViT）[12]），并且生成的搜索区域特征可以直接使用用于目标分类和回归，无需进一步匹配。此外，所提出的框架在性能和速度 AO Score 之间实现了良好的平衡，因为模板和搜索区域的串联使得 onestream 框架高度可并行化，并且不需要额外的重型关系建模网络。(3) 我们进行了全面的实验，验证单流框架在性能、推理速度和收敛速度方面优于之前的 SOTA 双流跟踪器。
（十一：2020.08.28）CVPR 2017 追踪之论文纲要（译）
Jojo论文基地
08-28 3476
CVPR 2017 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
论文阅读：2025AAAI SUTrack: Towards Simple and Unified Single Object Tracking
Koicencen的博客
01-16 946
用于单目标追踪SOT将五种SOT任务整合到一个统一的模型中 -> 消除了针对特定任务单独设计框架和训练任务识别辅助训练策略和软token类型嵌入实验部分非常充分SUTrack统一了五种SOT任务，通过对接口进行简洁的改进以适应各种模态，实现了单一模型和一段式训练的统一。动机：现代通用的视觉模型应该将不同模态转化为同一的形式进行整合和训练将RGB,深度信息，热成像图，事件图，语言模态转为统一的token形式，输入到vision transformer中。
OSTrack代码结构
07-13
OSTrack: Joint Feature Learning and Relation Modeling for Tracking: A One-Stream Framework论文和代码结构
CVPR 2021最全论文开放下载！附pdf下载链接！
热门推荐
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
Os-tracking-system-project:该系统包含一个python客户端，java服务器和java管理工具。用于收集和不断更新有关客户端计算机的信息，将数据存储在数据库中并使用管理工具进行查看
03-21
操作系统跟踪系统项目
TensorRT的C++YOLO+RT-DETR+单目标跟踪OSTrack和LightTrack源码+项目说明.zip
05-25
TensorRT的C++YOLO+RT-DETR+单目标跟踪OSTrack和LightTrack源码+项目说明.zip
毕业设计php带源码-OSTrack2019:开源跟踪资源-3个月-2019
06-06
毕业设计php带源码بسم الله الرحمن الرحيم [目录] 欢迎 这是Open Source Track Resources - 3 Months - 2019的非官方存储库Open Source Track Resources - 3 Months - 2019 在此存储库中，您将找到： 讲座资源 幻灯片（适用时） 外部资源链接（包括可用的录音） 演示 实验室 解决方案（部分） Open Source Track - 3 Months 是一项赞助计划，旨在： 为开源社区和埃及大学提供支持 受过高等教育、训练有素的专业开发人员 精心设计和开发的课程和内容 重建新的 IT 专业心态，能够在标准生产级别立即学习新技术和工具（从学生变成专业人士） 轨道大纲 阶段 0 - 准备 数据库基础 Web 开发简介 HTML5 和 CSS3 阶段 1 - 要点 Linux 操作系统 Reh Hat 系统管理（30 小时） Ubuntu 系统管理（24 小时） Ubuntu 系统管理 I 通过介绍关键命令行概念和其他企业工具，为希望成为全职 Linux 系统管理员的学生打下基础。 这些概
【目标跟踪】|OSTrack
qq_35608277的博客
07-10 7927
ECCV 2022 paper Joint Feature Learning and Relation Modeling for Tracking: A One-Stream Framework之前的跟踪框架都是将特征提取和特征融合分为两步来做的，先分别提取Template和Search的特征，然后在两者之间进行相关，得到的特征用于计算最终的跟踪结果（Two Stream, Two Stage）。这样做存在以下两个缺点：1.特征提取阶段template和search间没有交互，提取到的特征是目标无关的，判别
OSTrack(ECCV22)+NeighborTrack
weixin_44062176的博客
03-05 2601
Tracking任务，SOT
OSTrack的一些代码执行命令讲解
南城以北的博客
04-18 3379
执行如下命令可以生成路径文件，分别会在OSTrack/lib/train/admin目录和OSTrack/lib/test/evaluation目录下生成local.py文件，里面是各种路径的默认设置。配置文件为OSTrack/experiments/ostrack/vitb_256_mae_ce_32x4_ep300.yaml。一些单目标跟踪算法的代码执行命令非常相似，例如Stark、OSTrack、CSWinTT、AiATrack等，因此对一些命令进行讲解，有助于提升代码研究效率。
OSTrack视频单目标跟踪
core815的专栏
10-30 1810
对于一个输入视频，只需在第一帧图像中用矩形框指定待跟踪目标，单目跟踪算法将在整个视频帧中持续跟踪该目标，输出跟踪目标在所有图像帧中的矩形框信息。
OSTrack 代码阅读记录
allrubots的博客
03-12 9344
实验记录
OSTrack安装与配置完全指南
gitblog_09388的博客
09-13 911
OSTrack安装与配置完全指南 OSTrack [ECCV 2022] Joint Feature Learning and Relation Modeling for Tracking: A One-Stream Framework ...
Learning to Compare: Relation Network for Few-Shot Learning复现
最新发布
03-30
### 关于 Relation Network 的 Few-Shot Learning 复现 #### 使用 PyTorch 实现 Relation Network 以下是基于 PyTorch 的 Relation Network 实现代码示例： ```python import torch import torch.nn as nn import torch.optim as optim from torchvision import transforms, datasets class CNNEncoder(nn.Module): """CNN Encoder""" def __init__(self): super(CNNEncoder, self).__init__() self.layer1 = nn.Sequential( nn.Conv2d(3, 64, kernel_size=3, padding=0), nn.BatchNorm2d(64), nn.ReLU(), nn.MaxPool2d(2)) self.layer2 = nn.Sequential( nn.Conv2d(64, 64, kernel_size=3, padding=0), nn.BatchNorm2d(64), nn.ReLU(), nn.MaxPool2d(2)) self.layer3 = nn.Sequential( nn.Conv2d(64, 64, kernel_size=3, padding=1), nn.BatchNorm2d(64), nn.ReLU()) self.layer4 = nn.Sequential( nn.Conv2d(64, 64, kernel_size=3, padding=1), nn.BatchNorm2d(64), nn.ReLU()) def forward(self, x): out = self.layer1(x) out = self.layer2(out) out = self.layer3(out) out = self.layer4(out) return out.view(out.size(0), -1) class RelationNetwork(nn.Module): """Relation Network""" def __init__(self, input_size, hidden_size): super(RelationNetwork, self).__init__() self.fc1 = nn.Linear(input_size*2, hidden_size) self.fc2 = nn.Linear(hidden_size, 1) def forward(self, x): out = torch.relu(self.fc1(x)) out = torch.sigmoid(self.fc2(out)) return out def train(model_encoder, model_relation, optimizer, criterion, support_set, query_set, device='cpu'): model_encoder.train() model_relation.train() support_features = model_encoder(support_set.to(device)) # Extract features from the support set query_features = model_encoder(query_set.to(device)) # Extract features from the query set relations = [] for i in range(len(support_features)): pair_feature = torch.cat([support_features[i], query_features], dim=-1) # Concatenate pairs of features relation_score = model_relation(pair_feature).view(-1) # Compute similarity score relations.append(relation_score) output = torch.stack(relations).squeeze() # Stack all scores into a tensor target = torch.zeros(output.shape[0]).to(device) # Create ground truth labels loss = criterion(output, target) # Calculate loss optimizer.zero_grad() loss.backward() optimizer.step() return loss.item() ``` 上述代码实现了 `CNNEncoder` 和 `RelationNetwork`，并定义了一个简单的训练函数。 --- #### TensorFlow 实现 Relation Network 下面是基于 TensorFlow 的 Relation Network 实现代码示例： ```python import tensorflow as tf from tensorflow.keras.layers import Conv2D, BatchNormalization, MaxPooling2D, Flatten, Dense, ReLU, Input, concatenate from tensorflow.keras.models import Model def create_cnn_encoder(): inputs = Input(shape=(84, 84, 3)) x = Conv2D(filters=64, kernel_size=3)(inputs) x = BatchNormalization()(x) x = ReLU()(x) x = MaxPooling2D(pool_size=2)(x) x = Conv2D(filters=64, kernel_size=3)(x) x = BatchNormalization()(x) x = ReLU()(x) x = MaxPooling2D(pool_size=2)(x) x = Conv2D(filters=64, kernel_size=3, padding="same")(x) x = BatchNormalization()(x) x = ReLU()(x) x = Conv2D(filters=64, kernel_size=3, padding="same")(x) x = BatchNormalization()(x) x = ReLU()(x) outputs = Flatten()(x) encoder_model = Model(inputs=inputs, outputs=outputs, name="cnn_encoder") return encoder_model def create_relation_network(input_dim, hidden_units): feature_a = Input(shape=input_dim) feature_b = Input(shape=input_dim) concatenated = concatenate([feature_a, feature_b]) x = Dense(units=hidden_units, activation="relu")(concatenated) x = Dense(units=1, activation="sigmoid")(x) relation_model = Model(inputs=[feature_a, feature_b], outputs=x, name="relation_network") return relation_model # Example usage encoder = create_cnn_encoder() relation_net = create_relation_network(input_dim=1600, hidden_units=8) ``` 此代码展示了如何使用 Keras API 构建 CNN 编码器和关系网络模型。 --- #### 方法概述 Relation Network 是一种通过学习嵌入空间中的相似性来解决小样本分类问题的有效方法[^2]。其核心思想在于设计一个深度非线性距离度量函数，该函数能够捕捉查询样本和支持集之间的关系。相比其他元学习方法，Relation Network 更加简洁高效，在多种任务上表现出色。 为了验证其实效性，可以采用 Omniglot 或 Mini-ImageNet 数据集进行实验，并按照 N-way-K-shot 设置划分支持集与查询集。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值