CVPR2023 Autoregressive Visual Tracking 理解记录

ARTrack code with comments
https://github.com/MIV-XJTU/ARTrack
ARTrack的框架:
在这里插入图片描述

代码训练主要分为两阶段:

  • 第一阶段就是和seqtrack是一样的,就是template和search的图像打成patches送进transformer的encoder和decoder,只不过decoder这里送的query tokens送的是一个[cmd]或者[start] token,然后加x,y,w token, 序列化的顺序预测x,y,w,h目标位置信息,因为在预测x的时候只知道[start] token, 预测y的时候只知道[start] token和x token, 以此类推,所以motivation里面常写,如果模型知道目标在哪里,就能给一个命令就依次把目标的位置读出来。所以并不是给真值预测真值的看似白痴的学习。这里有两点需要注意的:

    • 这里的坐标变成token会经过一个word to embedding的过程,实现上来看就是把坐标当做index索引,会有一个embedding vocabulary字典被索引,经过坐标的索引出来的嵌入才会送入decoder里面。这样做的好处论文中解释为: This novel regression avoids direct non-linear mapping from image featur
### 配置 ARTrack 环境 #### 安装依赖库 为了使 ARTrack 正常工作,需先安装一系列必要的软件包。这通常包括编译工具链以及特定版本的 Python 和其他支持库。 对于 Linux 用户来说,可以通过系统的包管理器来获取这些依赖项: ```bash sudo apt-get update && sudo apt-get install -y build-essential cmake git python3-dev python3-pip ``` 接着,还需通过 pip 来安装额外所需的 Python 库[^1]。 #### 获取源码并初始化子模块 访问官方指定仓库下载最新版 ARTrack 源代码,并确保同步所有 Git 子模块以便获得完整的项目结构: ```bash git clone --recursive https://gitcode.com/gh_mirrors/ar/ARTrack.git cd ARTrack ``` 如果克隆时不带 `--recursive` 参数,则之后需要手动更新子模块: ```bash git submodule update --init --recursive ``` #### 编译构建过程 进入项目的根目录下执行 CMake 构建命令前,建议创建一个独立于源文件之外的新目录用于存放生成的目标文件和其他中间产物,这样做有助于保持原始代码整洁有序的同时也方便后续清理操作。 ```bash mkdir -p build && cd build cmake .. make -j$(nproc) ``` 上述指令会依据主机 CPU 的核心数自动调整并发作业数量以加速整个编译流程。 #### 设置环境变量 为了让系统能够识别到新安装的应用程序及其关联资源,在完成以上步骤后可能还需要适当设置一些环境变量,比如将可执行文件路径加入 PATH 中去;具体做法取决于个人喜好和实际需求而定。 例如可以编辑用户的 shell profile 文件(如 `.bashrc`, `.zshrc`),添加如下行: ```bash export PATH=$PATH:/path/to/ARTrack/build/bin ``` 记得替换 `/path/to/ARTrack` 为真实的安装位置,并重新加载配置使之生效: ```bash source ~/.bashrc # 或者对应shell的具体profile文件名 ```
评论 11
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

laizi_laizi

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值