ARTrack 阅读记录

已于 2024-05-26 14:24:00 修改
阅读量1.4k 收藏 31
点赞数 20
文章标签： python 开发语言
于 2024-01-07 20:08:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/allrubots/article/details/135370781
版权

目录

环境配置与脚本编写

前向传播过程

网络结构

环境配置与脚本编写

按照官网执行并没有顺利完成，将yaml文件中的 pip 项 手动安装的

conda create -n artrack python=3.9
# 启动该环境，并跳转到项目主目录路径下
astor==0.8.1 configparser==5.2.0
data==0.4 docker-pycreds==0.4.0 easydict==1.9 einops==0.4.1 formulaic==0.5.2 funcsigs==1.0.2 future==0.18.2
gitdb==4.0.9 gitpython==3.1.27 interface-meta==1.3.0 iopath==0.1.9 jpeg4py==0.1.4 jsonpatch==1.32 jsonpointer==2.3 latex==0.7.0
libarchive-c==2.9 linearmodels==4.29 lmdb==1.3.0 loguru==0.6.0 mat73==0.59 memory-profiler==0.60.0 msgpack==1.0.2 ninja==1.11.1
opencv-python==4.5.5.64 pathtools==0.1.2 promise==2.3 property-cached==1.6.4 protobuf==3.20.0 pycocotools==2.0.4 pyhdfe==0.1.2
ruamel-yaml-conda==0.15.100 sentry-sdk==1.5.8 setproctitle==1.2.2 setuptools-scm==7.1.0 shapely==1.8.1.post1 shortuuid==1.0.8
shutilwhich==1.1.0 smmap==5.0.0 tables==3.6.1 tempdir==0.7.1 tensorboardx==2.5.1 thop==0.1.0.post2207010342 tikzplotlib==0.10.1
timm==0.5.4 tomli==2.0.1 torch==1.11.0 torchfile==0.1.0 visdom==0.1.8.9 wandb==0.12.11 webcolors==1.12 yaspin==2.1.0

里面的默认路径需要改写

python tracking/create_default_local_file.py --workspace_dir . --data_dir ./data --save_dir ./outpu

官网下载训练好的模型，创建路径，将模型放在该路径下

ARTrack-main/output/checkpoints/train/artrack_seq/artrack_seq_256_full/ARTrackSeq_ep0060.pth.tar

创建encoder的预训练模型路径，并把预训练模型放入这里，在yaml文件中进行更改，并且源脚本文件 artrack_seq.py中也需要更改

mkdir pretrained_model
#
mae_pretrain_vit_base.pth 文件名 官网有提供链接

# artrack_seq_256_full.yaml 中用绝对路径改写
PRETRAIN_PTH: "/root/data/zjx/Code-subject/ARTrack/ARTrack-main/pretrained_models"

# 同时将artrack_seq.py --100 中的
load_from = cfg.MODEL.PRETRAIN_PTH
# 改为
load_from = cfg.MODEL.PRETRAIN_PTH +'/' + cfg.MODEL.PRETRAIN_FILE
#同时将 artrack_seq.py -- 103 中的
missing_keys, unexpected_keys = model.load_state_dict(checkpoint["net"], strict=False)
# 改为
missing_keys, unexpected_keys = model.load_state_dict(checkpoint["model"], strict=False)

代码中没有实现 run video 的脚本，这里需要自定义一个脚本实现

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function
from __future__ import unicode_literals

import os
import random
import argparse
import multiprocessing

import cv2
import torch
import torch.nn as nn
import numpy as np
from glob import glob

from lib.test.evaluation.tracker import Tracker

import sys

prj_path = os.path.join(os.path.dirname(__file__), '..')
if prj_path not in sys.path:
    sys.path.append(prj_path)

torch.set_num_threads(1)

parser = argparse.ArgumentParser(description='Run tracker on sequence or dataset.')
parser.add_argument('tracker_name', type=str, help='Name of tracking method.')
parser.add_argument('tracker_param', type=str, help='Name of config file.')
parser.add_argument('--runid', type=int, default=None, help='The run id.')
parser.add_argument('--video_path', type=str, default='None', help='Name of dataset (otb, nfs, uav, tpl, vot, tn, gott, gotv, lasot).')
parser.add_argument('--sequence', type=str, default=None, help='Sequence number or name.')
parser.add_argument('--debug', type=int, default=0, help='Debug level.')
parser.add_argument('--threads', type=int, default=0, help='Number of threads.')
parser.add_argument('--num_gpus', type=int, default=8)

args = parser.parse_args()


def main():  # 这里已经是图片了
    colors = [random.randint(0, 255) for _ in range(3)]
    print('[INFO] Loading the model')

    # load config
    trackers = Tracker(args.tracker_name, args.tracker_param, None, args.runid)

    try:
        worker_name = multiprocessing.current_process().name
        worker_id = int(worker_name[worker_name.find('-') + 1:]) - 1
        gpu_id = worker_id % args.num_gpus
        torch.cuda.set_device(gpu_id)
    except:
        pass

    trackers.run_video(args.video_path, None, None, None, False)

if __name__=='__main__':
    main()

执行

python tracking/run_video.py artrack_seq artrack_seq_256_full --video_path /root/data/zjx/Code-subject/OSTrack-main/experiments/video/soccer1.avi

前向传播过程

裁剪模板区域和OSTrack代码一样，初始化的时候，为需要保留的N帧的bbox的坐标信息创建了一个buffer--self.store_result，初始化时全为 init bbox，N的值此时设置为7

        for i in range(self.save_all - 1):
            self.store_result.append(info['init_bbox'].copy())

搜索区域的裁剪和OSTrack的一样。将之前帧的坐标进行变换，  以前一帧预测的坐标为参考点计算相对坐标，因为当前帧的裁剪的搜索区域的就是以上一帧预测的bbox为中心进行裁剪的，所以搜索区域的中心实则是前一帧预测的bbox的中心。只不过前一帧预测的bbox为原img的尺度，而搜索区域为crop size上的尺度，因此，只需要将计算原img尺度上的也就是之前帧的预测的坐标与前一帧预测的坐标的相对坐标，再乘以resize factor就可以将相对坐标转换到crop size 的尺度下。并且，前一帧的预测的bbox转换实则移到了搜索区域的中心点，也就是 （crop_size/2, crop_ size/2)。 

转换后除以 crop size 进行了归一化，不过这里有可能会 小于0 或者 大于 1，因为坐标变换可能会超出边界。接下来将xywh转换成 xyxy 形式，并筛选只保留（-0.5，1.5）区间的。然后对坐标进行量化

box_out_i = (box_out_i + 0.5) * (self.bins - 1)  # 量化

。加上0.5 为了防止 出现负数，最终将bbox量化到 2*（bins-1）之间。最终，包含时空上下文信息的坐标输入为

seqs_out = seqs_out.unsqueeze(0)  # （1，28） 包含了连续7帧的bbox信息，初始化时是模板帧的重复

将 模板 和 搜索区域送入 ViT backbone中进行特征提取，这个过程中一共 16倍 下采样。然后将 提取的 sequence patch、以及位置编码、外加之前转换后的之前帧的bbox的信息 送入 接下来的Transformer中。

首先进入一个 encoder，在FeatureFusionEncoder类中进行一些预处理，主要的基本模块是 FeatureFusion 模块。这个encoder的主要过程如下所示，最终返回 z 和 x 一样shape的特征 patch。

接下来 ，将 之前帧的 bbox 坐标序列以及开始标志拼接在一起，作为decoder的输入 sequence。因为只需要预测bbox的坐标，所以不需要额外的结束标志，输出的序列长度直接为4即可。

1、 将输入的sequence 进行词汇嵌入，词向量的长度是crop img 下采样得到的特征patch的分辨率
2、 将初始输入tgt、模板特征、搜索特征、patch z的位置编码、 x patch的位置编码、identity高斯截断分布、高斯截断分布、查询嵌入、输入序列的掩码 送入decoder

 decoder主要由TargetQueryDecoderLayer层组成。该模块的前向过程如下所示，一共有6层

最终输出和 tgt shape一样的token sequence。得到的输出的shape为（1，length，768），这个length为tgt的长度，随sequence的预测而逐渐增加。接下来，

1、 拿出得到的 query的 最后一个单词嵌入，并与词向量的权重矩阵进行矩阵乘法，得到与每个位置量化后的相关联的预测值。
2、 取softmax，得到关于量化后的坐标的概率分布。
3、 采用argmax sampleing，也就是看最大概率的位置。
4、 将当前预测的量化后的坐标加入到 tgt当中，执行循环。
5、 最终得到预测的bbox的量化坐标。

得到网络的输出预测后，

1、 bbox坐标反量化
2、 xyxy 转为 xywh  中心点加长宽
3、 尺度返回到原img， 转成 xywh， 左顶点加长宽
4、 平滑处理，去掉bbox超出图片的部分
5、 对于之前保存的坐标信息，将最靠前的弹出去，在最靠后的也就是前一帧的坐标加入当前预测的。好比出栈入栈操作。

训练的前向过程

只是看一下前向过程，将train.py 中 单卡训练的 脚本路径用绝对路径代替

train_cmd = "python /root/data/zjx/Code-subject/ARTrack/ARTrack-main/lib/train/run_training.py --script

在 artrack/config.py文件中pretrained 路径 用绝对路径替换一下

cfg.MODEL.PRETRAIN_PTH = "/root/data/zjx/Code-subject/ARTrack/ARTrack-main/pretrained_models"

在 lib/models/artrack/artrack.py 文件中进行一下更改

# 将
load_from = cfg.MODEL.PRETRAIN_PTH
# 改为
load_from = cfg.MODEL.PRETRAIN_PTH + '/' + cfg.MODEL.PRETRAIN_FILE

# 将
missing_keys, unexpected_keys = model.load_state_dict(checkpoint["net"], strict=False)
# 改为
missing_keys, unexpected_keys = model.load_state_dict(checkpoint["model"], strict=False)

终端运行

 python tracking/train.py --script artrack --config artrack_256_full --save_dir ./output --mode single

 在本地配置时，不要再train.py中，而是直接去run training 文件中配置

--script artrack --config artrack_256_full --save_dir ./output --use_lmdb 0 --script_prv None --config_prv baseline --distill 0 --script_teacher None --config_teacher None --use_wandb 0

数据的处理过程

论文中说过， 

因此，在artrack 的情况下，依然是per frame 处理的。

在视频数据集中随机选取一个视频id，拿出其所有序列的注释 

seq_info_dict

data

可以看到，此时数据中包含的只有一帧的搜索区域 

但是在 artrack_seq的情况下则不是。

执行

python tracking/train.py --script artrack_seq --config artrack_seq_256_full --save_dir ./output --mode single

采样过程

1、 随机选取一条视频序列，拿出其ground truth信息，包括bbox，visible等
2、 在0 ~ len(visible)-num_search_frame之间随机选取一帧作为template
3、 计算 search frame可取的范围，
    在保证template位于search之前的前提下，保证 template frame + max gap 做为 search 的最大的结尾可选取范围，也就是模板和搜素区域的时间关系上最大不要超过max gap帧，其做为 left max。
然后在 template frame ~ left max 之间随机选取一帧数id做为 left。
4、 以 left id 为起始点，连续选取 num search frame 帧做为搜索区域。代码中选取了36帧。 以 left起始可供选取的连续帧不足 num search frame，则将 最靠后的帧 进行复制，直到满足选取的帧数为止
5、 经过上述过程，采样到了 模板帧的id， 搜索区域帧的id，并且在时间轴上模板帧位于搜索帧之前，搜索帧是连续的。
6、 通过 数据集工具 API， 用上面得到的 视频id，选取的帧id， ground truth信息字典传入接口， 即可得到 图片img，注释anno，以及属性meta obj
7、 将上述得到的每一组保存成字典，做为一组训练样本

 模型读数据的处理过程

1、 对一共选取的连续 num frames帧搜索图片进行循环处理，一共需要循环 num frames次
2、 第一次循环时，会进行对模板信息的初始化，包括对模板img进行处理。根据template img 和 template bbox，对原模板img裁剪并resize成要求的输入大小。 以及初始化保留的轨迹 bbox，
全部为最开头的搜索帧的 复制， 一共复制了 N 次。N为文中跟踪过程选取的搜索区域的帧数。
3、 从第二次循环开始，开始对样本中的 搜索img 进行处理。 对搜索区域图片进行裁剪并resize 成要求的大小。
4、

seq_info_dict

选取的模板帧和搜索帧的id举例

# template frame ids
[76]

# search frame ids
[109, 110, 111, 112, 113, 114, 115, 116, 117, 118, 119, 120, 121, 122, 123, 124, 125, 126, 127, 128, 129, 130, 131, 132, 133, 134, 135, 136, 137, 138, 139, 140, 141, 142, 143, 144]

search_anno

网络结构

ARTrackSeq(
  (backbone): VisionTransformer(
    (patch_embed): PatchEmbed(
      (proj): Conv2d(3, 768, kernel_size=(16, 16), stride=(16, 16))
      (norm): Identity()
    )
    (pos_drop): Dropout(p=0.0, inplace=False)
    (blocks): Sequential(
      (0): Block(
        (norm1): LayerNorm((768,), eps=1e-06, elementwise_affine=True)
        (attn): Attention(
          (qkv): Linear(in_features=768, out_features=2304, bias=True)
          (attn_drop): Dropout(p=0.0, inplace=False)
          (proj): Linear(in_features=768, out_features=768, bias=True)
          (proj_drop): Dropout(p=0.0, inplace=False)
        )
        (drop_path): Identity()
        (norm2): LayerNorm((768,), eps=1e-06, elementwise_affine=True)
        (mlp): Mlp(
          (fc1): Linear(in_features=768, out_features=3072, bias=True)
          (act): GELU()
          (drop1): Dropout(p=0.0, inplace=False)
          (fc2): Linear(in_features=3072, out_features=768, bias=True)
          (drop2): Dropout(p=0.0, inplace=False)
        )
      )
      (1): Block(
        (norm1): LayerNorm((768,), eps=1e-06, elementwise_affine=True)
        (attn): Attention(
          (qkv): Linear(in_features=768, out_features=2304, bias=True)
          (attn_drop): Dropout(p=0.0, inplace=False)
          (proj): Linear(in_features=768, out_features=768, bias=True)
          (proj_drop): Dropout(p=0.0, inplace=False)
        )
        (drop_path): DropPath()
        (norm2): LayerNorm((768,), eps=1e-06, elementwise_affine=True)
        (mlp): Mlp(
          (fc1): Linear(in_features=768, out_features=3072, bias=True)
          (act): GELU()
          (drop1): Dropout(p=0.0, inplace=False)
          (fc2): Linear(in_features=3072, out_features=768, bias=True)
          (drop2): Dropout(p=0.0, inplace=False)
        )
      )
      (2): Block(
        (norm1): LayerNorm((768,), eps=1e-06, elementwise_affine=True)
        (attn): Attention(
          (qkv): Linear(in_features=768, out_features=2304, bias=True)
          (attn_drop): Dropout(p=0.0, inplace=False)
          (proj): Linear(in_features=768, out_features=768, bias=True)
          (proj_drop): Dropout(p=0.0, inplace=False)
        )
        (drop_path): DropPath()
        (norm2): LayerNorm((768,), eps=1e-06, elementwise_affine=True)
        (mlp): Mlp(
          (fc1): Linear(in_features=768, out_features=3072, bias=True)
          (act): GELU()
          (drop1): Dropout(p=0.0, inplace=False)
          (fc2): Linear(in_features=3072, out_features=768, bias=True)
          (drop2): Dropout(p=0.0, inplace=False)
        )
      )
      (3): Block(
        (norm1): LayerNorm((768,), eps=1e-06, elementwise_affine=True)
        (attn): Attention(
          (qkv): Linear(in_features=768, out_features=2304, bias=True)
          (attn_drop): Dropout(p=0.0, inplace=False)
          (proj): Linear(in_features=768, out_features=768, bias=True)
          (proj_drop): Dropout(p=0.0, inplace=False)
        )
        (drop_path): DropPath()
        (norm2): LayerNorm((768,), eps=1e-06, elementwise_affine=True)
        (mlp): Mlp(
          (fc1): Linear(in_features=768, out_features=3072, bias=True)
          (act): GELU()
          (drop1): Dropout(p=0.0, inplace=False)
          (fc2): Linear(in_features=3072, out_features=768, bias=True)
          (drop2): Dropout(p=0.0, inplace=False)
        )
      )
      (4): Block(
        (norm1): LayerNorm((768,), eps=1e-06, elementwise_affine=True)
        (attn): Attention(
          (qkv): Linear(in_features=768, out_features=2304, bias=True)
          (attn_drop): Dropout(p=0.0, inplace=False)
          (proj): Linear(in_features=768, out_features=768, bias=True)
          (proj_drop): Dropout(p=0.0, inplace=False)
        )
        (drop_path): DropPath()
        (norm2): LayerNorm((768,), eps=1e-06, elementwise_affine=True)
        (mlp): Mlp(
          (fc1): Linear(in_features=768, out_features=3072, bias=True)
          (act): GELU()
          (drop1): Dropout(p=0.0, inplace=False)
          (fc2): Linear(in_features=3072, out_features=768, bias=True)
          (drop2): Dropout(p=0.0, inplace=False)
        )
      )
      (5): Block(
        (norm1): LayerNorm((768,), eps=1e-06, elementwise_affine=True)
        (attn): Attention(
          (qkv): Linear(in_features=768, out_features=2304, bias=True)
          (attn_drop): Dropout(p=0.0, inplace=False)
          (proj): Linear(in_features=768, out_features=768, bias=True)
          (proj_drop): Dropout(p=0.0, inplace=False)
        )
        (drop_path): DropPath()
        (norm2): LayerNorm((768,), eps=1e-06, elementwise_affine=True)
        (mlp): Mlp(
          (fc1): Linear(in_features=768, out_features=3072, bias=True)
          (act): GELU()
          (drop1): Dropout(p=0.0, inplace=False)
          (fc2): Linear(in_features=3072, out_features=768, bias=True)
          (drop2): Dropout(p=0.0, inplace=False)
        )
      )
      (6): Block(
        (norm1): LayerNorm((768,), eps=1e-06, elementwise_affine=True)
        (attn): Attention(
          (qkv): Linear(in_features=768, out_features=2304, bias=True)
          (attn_drop): Dropout(p=0.0, inplace=False)
          (proj): Linear(in_features=768, out_features=768, bias=True)
          (proj_drop): Dropout(p=0.0, inplace=False)
        )
        (drop_path): DropPath()
        (norm2): LayerNorm((768,), eps=1e-06, elementwise_affine=True)
        (mlp): Mlp(
          (fc1): Linear(in_features=768, out_features=3072, bias=True)
          (act): GELU()
          (drop1): Dropout(p=0.0, inplace=False)
          (fc2): Linear(in_features=3072, out_features=768, bias=True)
          (drop2): Dropout(p=0.0, inplace=False)
        )
      )
      (7): Block(
        (norm1): LayerNorm((768,), eps=1e-06, elementwise_affine=True)
        (attn): Attention(
          (qkv): Linear(in_features=768, out_features=2304, bias=True)
          (attn_drop): Dropout(p=0.0, inplace=False)
          (proj): Linear(in_features=768, out_features=768, bias=True)
          (proj_drop): Dropout(p=0.0, inplace=False)
        )
        (drop_path): DropPath()
        (norm2): LayerNorm((768,), eps=1e-06, elementwise_affine=True)
        (mlp): Mlp(
          (fc1): Linear(in_features=768, out_features=3072, bias=True)
          (act): GELU()
          (drop1): Dropout(p=0.0, inplace=False)
          (fc2): Linear(in_features=3072, out_features=768, bias=True)
          (drop2): Dropout(p=0.0, inplace=False)
        )
      )
      (8): Block(
        (norm1): LayerNorm((768,), eps=1e-06, elementwise_affine=True)
        (attn): Attention(
          (qkv): Linear(in_features=768, out_features=2304, bias=True)
          (attn_drop): Dropout(p=0.0, inplace=False)
          (proj): Linear(in_features=768, out_features=768, bias=True)
          (proj_drop): Dropout(p=0.0, inplace=False)
        )
        (drop_path): DropPath()
        (norm2): LayerNorm((768,), eps=1e-06, elementwise_affine=True)
        (mlp): Mlp(
          (fc1): Linear(in_features=768, out_features=3072, bias=True)
          (act): GELU()
          (drop1): Dropout(p=0.0, inplace=False)
          (fc2): Linear(in_features=3072, out_features=768, bias=True)
          (drop2): Dropout(p=0.0, inplace=False)
        )
      )
      (9): Block(
        (norm1): LayerNorm((768,), eps=1e-06, elementwise_affine=True)
        (attn): Attention(
          (qkv): Linear(in_features=768, out_features=2304, bias=True)
          (attn_drop): Dropout(p=0.0, inplace=False)
          (proj): Linear(in_features=768, out_features=768, bias=True)
          (proj_drop): Dropout(p=0.0, inplace=False)
        )
        (drop_path): DropPath()
        (norm2): LayerNorm((768,), eps=1e-06, elementwise_affine=True)
        (mlp): Mlp(
          (fc1): Linear(in_features=768, out_features=3072, bias=True)
          (act): GELU()
          (drop1): Dropout(p=0.0, inplace=False)
          (fc2): Linear(in_features=3072, out_features=768, bias=True)
          (drop2): Dropout(p=0.0, inplace=False)
        )
      )
      (10): Block(
        (norm1): LayerNorm((768,), eps=1e-06, elementwise_affine=True)
        (attn): Attention(
          (qkv): Linear(in_features=768, out_features=2304, bias=True)
          (attn_drop): Dropout(p=0.0, inplace=False)
          (proj): Linear(in_features=768, out_features=768, bias=True)
          (proj_drop): Dropout(p=0.0, inplace=False)
        )
        (drop_path): DropPath()
        (norm2): LayerNorm((768,), eps=1e-06, elementwise_affine=True)
        (mlp): Mlp(
          (fc1): Linear(in_features=768, out_features=3072, bias=True)
          (act): GELU()
          (drop1): Dropout(p=0.0, inplace=False)
          (fc2): Linear(in_features=3072, out_features=768, bias=True)
          (drop2): Dropout(p=0.0, inplace=False)
        )
      )
      (11): Block(
        (norm1): LayerNorm((768,), eps=1e-06, elementwise_affine=True)
        (attn): Attention(
          (qkv): Linear(in_features=768, out_features=2304, bias=True)
          (attn_drop): Dropout(p=0.0, inplace=False)
          (proj): Linear(in_features=768, out_features=768, bias=True)
          (proj_drop): Dropout(p=0.0, inplace=False)
        )
        (drop_path): DropPath()
        (norm2): LayerNorm((768,), eps=1e-06, elementwise_affine=True)
        (mlp): Mlp(
          (fc1): Linear(in_features=768, out_features=3072, bias=True)
          (act): GELU()
          (drop1): Dropout(p=0.0, inplace=False)
          (fc2): Linear(in_features=3072, out_features=768, bias=True)
          (drop2): Dropout(p=0.0, inplace=False)
        )
      )
    )
    (norm): LayerNorm((768,), eps=1e-06, elementwise_affine=True)
  )
  (pix_head): Pix2Track(
    (word_embeddings): Embedding(802, 768, padding_idx=800, max_norm=1)
    (position_embeddings): Embedding(5, 768)
    (prev_position_embeddings): Embedding(28, 768)
    (encoder): FeatureFusionEncoder(
      (layers): ModuleList(
        (0): FeatureFusion(
          (z_norm1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (x_norm1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (z_self_attn): SelfAttention(
            (qkv): Linear(in_features=768, out_features=2304, bias=True)
            (attn_drop): Dropout(p=0.0, inplace=False)
            (proj): Linear(in_features=768, out_features=768, bias=True)
            (proj_drop): Dropout(p=0.1, inplace=False)
          )
          (x_self_attn): SelfAttention(
            (qkv): Linear(in_features=768, out_features=2304, bias=True)
            (attn_drop): Dropout(p=0.0, inplace=False)
            (proj): Linear(in_features=768, out_features=768, bias=True)
            (proj_drop): Dropout(p=0.1, inplace=False)
          )
          (z_norm2_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (z_norm2_2): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (x_norm2_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (x_norm2_2): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (z_x_cross_attention): CrossAttention(
            (q): Linear(in_features=768, out_features=768, bias=True)
            (kv): Linear(in_features=768, out_features=1536, bias=True)
            (attn_drop): Dropout(p=0.0, inplace=False)
            (proj): Linear(in_features=768, out_features=768, bias=True)
            (proj_drop): Dropout(p=0.1, inplace=False)
          )
          (x_z_cross_attention): CrossAttention(
            (q): Linear(in_features=768, out_features=768, bias=True)
            (kv): Linear(in_features=768, out_features=1536, bias=True)
            (attn_drop): Dropout(p=0.0, inplace=False)
            (proj): Linear(in_features=768, out_features=768, bias=True)
            (proj_drop): Dropout(p=0.1, inplace=False)
          )
          (z_norm3): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (x_norm3): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (z_mlp): Mlp(
            (fc1): Linear(in_features=768, out_features=3072, bias=True)
            (act): GELU()
            (fc2): Linear(in_features=3072, out_features=768, bias=True)
            (drop): Dropout(p=0.1, inplace=False)
          )
          (x_mlp): Mlp(
            (fc1): Linear(in_features=768, out_features=3072, bias=True)
            (act): GELU()
            (fc2): Linear(in_features=3072, out_features=768, bias=True)
            (drop): Dropout(p=0.1, inplace=False)
          )
          (drop_path): Identity()
        )
        (1): FeatureFusion(
          (z_norm1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (x_norm1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (z_self_attn): SelfAttention(
            (qkv): Linear(in_features=768, out_features=2304, bias=True)
            (attn_drop): Dropout(p=0.0, inplace=False)
            (proj): Linear(in_features=768, out_features=768, bias=True)
            (proj_drop): Dropout(p=0.1, inplace=False)
          )
          (x_self_attn): SelfAttention(
            (qkv): Linear(in_features=768, out_features=2304, bias=True)
            (attn_drop): Dropout(p=0.0, inplace=False)
            (proj): Linear(in_features=768, out_features=768, bias=True)
            (proj_drop): Dropout(p=0.1, inplace=False)
          )
          (z_norm2_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (z_norm2_2): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (x_norm2_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (x_norm2_2): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (z_x_cross_attention): CrossAttention(
            (q): Linear(in_features=768, out_features=768, bias=True)
            (kv): Linear(in_features=768, out_features=1536, bias=True)
            (attn_drop): Dropout(p=0.0, inplace=False)
            (proj): Linear(in_features=768, out_features=768, bias=True)
            (proj_drop): Dropout(p=0.1, inplace=False)
          )
          (x_z_cross_attention): CrossAttention(
            (q): Linear(in_features=768, out_features=768, bias=True)
            (kv): Linear(in_features=768, out_features=1536, bias=True)
            (attn_drop): Dropout(p=0.0, inplace=False)
            (proj): Linear(in_features=768, out_features=768, bias=True)
            (proj_drop): Dropout(p=0.1, inplace=False)
          )
          (z_norm3): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (x_norm3): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (z_mlp): Mlp(
            (fc1): Linear(in_features=768, out_features=3072, bias=True)
            (act): GELU()
            (fc2): Linear(in_features=3072, out_features=768, bias=True)
            (drop): Dropout(p=0.1, inplace=False)
          )
          (x_mlp): Mlp(
            (fc1): Linear(in_features=768, out_features=3072, bias=True)
            (act): GELU()
            (fc2): Linear(in_features=3072, out_features=768, bias=True)
            (drop): Dropout(p=0.1, inplace=False)
          )
          (drop_path): Identity()
        )
        (2): FeatureFusion(
          (z_norm1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (x_norm1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (z_self_attn): SelfAttention(
            (qkv): Linear(in_features=768, out_features=2304, bias=True)
            (attn_drop): Dropout(p=0.0, inplace=False)
            (proj): Linear(in_features=768, out_features=768, bias=True)
            (proj_drop): Dropout(p=0.1, inplace=False)
          )
          (x_self_attn): SelfAttention(
            (qkv): Linear(in_features=768, out_features=2304, bias=True)
            (attn_drop): Dropout(p=0.0, inplace=False)
            (proj): Linear(in_features=768, out_features=768, bias=True)
            (proj_drop): Dropout(p=0.1, inplace=False)
          )
          (z_norm2_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (z_norm2_2): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (x_norm2_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (x_norm2_2): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (z_x_cross_attention): CrossAttention(
            (q): Linear(in_features=768, out_features=768, bias=True)
            (kv): Linear(in_features=768, out_features=1536, bias=True)
            (attn_drop): Dropout(p=0.0, inplace=False)
            (proj): Linear(in_features=768, out_features=768, bias=True)
            (proj_drop): Dropout(p=0.1, inplace=False)
          )
          (x_z_cross_attention): CrossAttention(
            (q): Linear(in_features=768, out_features=768, bias=True)
            (kv): Linear(in_features=768, out_features=1536, bias=True)
            (attn_drop): Dropout(p=0.0, inplace=False)
            (proj): Linear(in_features=768, out_features=768, bias=True)
            (proj_drop): Dropout(p=0.1, inplace=False)
          )
          (z_norm3): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (x_norm3): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (z_mlp): Mlp(
            (fc1): Linear(in_features=768, out_features=3072, bias=True)
            (act): GELU()
            (fc2): Linear(in_features=3072, out_features=768, bias=True)
            (drop): Dropout(p=0.1, inplace=False)
          )
          (x_mlp): Mlp(
            (fc1): Linear(in_features=768, out_features=3072, bias=True)
            (act): GELU()
            (fc2): Linear(in_features=3072, out_features=768, bias=True)
            (drop): Dropout(p=0.1, inplace=False)
          )
          (drop_path): Identity()
        )
      )
      (z_pos_enc): Untied2DPositionalEncoder(
        (pos): Learned2DPositionalEncoder()
        (norm): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
        (pos_q_linear): Linear(in_features=768, out_features=768, bias=True)
        (pos_k_linear): Linear(in_features=768, out_features=768, bias=True)
      )
      (x_pos_enc): Untied2DPositionalEncoder(
        (pos): Learned2DPositionalEncoder()
        (norm): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
        (pos_q_linear): Linear(in_features=768, out_features=768, bias=True)
        (pos_k_linear): Linear(in_features=768, out_features=768, bias=True)
      )
      (z_rel_pos_bias_table): RelativePosition2DEncoder()
      (x_rel_pos_bias_table): RelativePosition2DEncoder()
      (z_x_rel_pos_bias_table): RelativePosition2DEncoder()
      (x_z_rel_pos_bias_table): RelativePosition2DEncoder()
    )
    (decoder): TargetQueryDecoderBlock(
      (layers): ModuleList(
        (0): TargetQueryDecoderLayer(
          (norm_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (self_attn1): MultiheadAttention(
            (out_proj): NonDynamicallyQuantizableLinear(in_features=768, out_features=768, bias=True)
          )
          (norm_2_query): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (norm_2_memory): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (multihead_attn): MultiheadAttention(
            (out_proj): NonDynamicallyQuantizableLinear(in_features=768, out_features=768, bias=True)
          )
          (norm_3): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (mlpz): Mlp(
            (fc1): Linear(in_features=768, out_features=3072, bias=True)
            (act): GELU()
            (fc2): Linear(in_features=3072, out_features=768, bias=True)
            (drop): Dropout(p=0.1, inplace=False)
          )
          (drop_path): Identity()
        )
        (1): TargetQueryDecoderLayer(
          (norm_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (self_attn1): MultiheadAttention(
            (out_proj): NonDynamicallyQuantizableLinear(in_features=768, out_features=768, bias=True)
          )
          (norm_2_query): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (norm_2_memory): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (multihead_attn): MultiheadAttention(
            (out_proj): NonDynamicallyQuantizableLinear(in_features=768, out_features=768, bias=True)
          )
          (norm_3): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (mlpz): Mlp(
            (fc1): Linear(in_features=768, out_features=3072, bias=True)
            (act): GELU()
            (fc2): Linear(in_features=3072, out_features=768, bias=True)
            (drop): Dropout(p=0.1, inplace=False)
          )
          (drop_path): Identity()
        )
        (2): TargetQueryDecoderLayer(
          (norm_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (self_attn1): MultiheadAttention(
            (out_proj): NonDynamicallyQuantizableLinear(in_features=768, out_features=768, bias=True)
          )
          (norm_2_query): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (norm_2_memory): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (multihead_attn): MultiheadAttention(
            (out_proj): NonDynamicallyQuantizableLinear(in_features=768, out_features=768, bias=True)
          )
          (norm_3): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (mlpz): Mlp(
            (fc1): Linear(in_features=768, out_features=3072, bias=True)
            (act): GELU()
            (fc2): Linear(in_features=3072, out_features=768, bias=True)
            (drop): Dropout(p=0.1, inplace=False)
          )
          (drop_path): Identity()
        )
        (3): TargetQueryDecoderLayer(
          (norm_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (self_attn1): MultiheadAttention(
            (out_proj): NonDynamicallyQuantizableLinear(in_features=768, out_features=768, bias=True)
          )
          (norm_2_query): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (norm_2_memory): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (multihead_attn): MultiheadAttention(
            (out_proj): NonDynamicallyQuantizableLinear(in_features=768, out_features=768, bias=True)
          )
          (norm_3): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (mlpz): Mlp(
            (fc1): Linear(in_features=768, out_features=3072, bias=True)
            (act): GELU()
            (fc2): Linear(in_features=3072, out_features=768, bias=True)
            (drop): Dropout(p=0.1, inplace=False)
          )
          (drop_path): Identity()
        )
        (4): TargetQueryDecoderLayer(
          (norm_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (self_attn1): MultiheadAttention(
            (out_proj): NonDynamicallyQuantizableLinear(in_features=768, out_features=768, bias=True)
          )
          (norm_2_query): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (norm_2_memory): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (multihead_attn): MultiheadAttention(
            (out_proj): NonDynamicallyQuantizableLinear(in_features=768, out_features=768, bias=True)
          )
          (norm_3): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (mlpz): Mlp(
            (fc1): Linear(in_features=768, out_features=3072, bias=True)
            (act): GELU()
            (fc2): Linear(in_features=3072, out_features=768, bias=True)
            (drop): Dropout(p=0.1, inplace=False)
          )
          (drop_path): Identity()
        )
        (5): TargetQueryDecoderLayer(
          (norm_1): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (self_attn1): MultiheadAttention(
            (out_proj): NonDynamicallyQuantizableLinear(in_features=768, out_features=768, bias=True)
          )
          (norm_2_query): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (norm_2_memory): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (multihead_attn): MultiheadAttention(
            (out_proj): NonDynamicallyQuantizableLinear(in_features=768, out_features=768, bias=True)
          )
          (norm_3): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
          (mlpz): Mlp(
            (fc1): Linear(in_features=768, out_features=3072, bias=True)
            (act): GELU()
            (fc2): Linear(in_features=3072, out_features=768, bias=True)
            (drop): Dropout(p=0.1, inplace=False)
          )
          (drop_path): Identity()
        )
      )
      (norm): LayerNorm((768,), eps=1e-05, elementwise_affine=True)
    )
  )
)

匿名的魔术师
关注
Autoregressive Visual Tracking（ARTrack）CVPR2023学习笔记
qq_43437453的博客
06-04 3202
这篇论文的研究动机是传统的视觉目标跟踪方法通常将跟踪视为每帧模板匹配问题，忽略了视频帧之间的时序依赖性。本文的作者提出了一种新的框架，将跟踪视为坐标序列解释任务，通过学习一个简单的端到端模型来进行直接轨迹估计。该方法可以建模轨迹的时序演变，以保持跟踪结果的连贯性。相比现有的基于模板匹配的跟踪器，该方法可以更好地处理目标变形、尺度变化、遮挡和干扰等问题，并且不需要定制的定位头和后处理步骤。
ARTrack论文阅读分享（单目标跟踪）
qq_44799766的博客
02-14 2186
ARTrack论文阅读及个人分析。本读者对于Decoder（解码器）中的优化点-----解耦的地方还是有点疑惑（作者对此也暂时还没开源）。
目标跟踪算法个人理解-ARTrack篇
nulishuaxinzhong的博客
02-12 2102
今年的SOT算法个人感觉最有新意的就是这篇了，一次很好的贴合SOT具有的序列决策本质的算法研究。同时也跟seqtrack一样，使用了生成范式进行输出预测。但仔细看二者的文章会发现artrack在解码部分使用了历史序列信息来辅助当前帧的序列生成，而seqtrack只是将输出头由分类头、box回归头什么的改成了生成式回归头，没有使用历史序列信息（SOT经典方法：搜索帧模板帧通过“对比”来找目标）。感觉artrack是在真正探索如何使用序列级别的信息。
ARTrack：迈向视觉跟踪新时代的自回归框架
gitblog_00035的博客
06-04 305
ARTrack：迈向视觉跟踪新时代的自回归框架 ARTrack项目地址:https://gitcode.com/gh_mirrors/ar/ARTrack 在AI领域快速演进的今天，【ARTrack**】以其革新性的追踪理念和技术细节，在视觉对象追踪的世界中树立了新标杆。该项目基于CVPR 2023的亮点研究，由编程奇才Yifan Bai维护，通过PyTorch实现，它不仅是一次技术的进步，更是...
Autoregressive Visual Tracking论文笔记
weixin_59112077的博客
07-18 759
这也就意味着网络在当前帧输出的目标坐标是相对于搜索区域而言的，要想获得一个统一的表示，就有必要将不同帧的框映射到相同坐标系当中。模板和搜索图像先被切割成块，然后展平并投影以生成token embeddings序列，接着，添加带有位置和身份嵌入的模板和搜索tokens，将它们连接并输入到普通的ViT主干中，进而对视觉特征进行编码。其中，时空prompts为先前的输出结果。词汇的表示范围：词汇的表示范围依据搜索区域的尺寸所设置，但由于物体的快速移动，先前的轨迹序列有时可能延伸到搜索区域的边界之外。
ArTrack_ws是干什么的包
06-08
ArTrack_ws是一个基于OpenCV（Open Source Computer Vision Library）的软件包，主要用于在现实世界中跟踪AR（增强现实）标记或称为“AR标签”。它利用视觉传感器（如摄像头）和特定的二维或三维AR图层（如常见的...
2023VALSE目标跟踪相关的Poster
m0_37412775的博客
06-13 2401
RGBT显著性目标检测（salient object detection, SOD）关注于一对可见和热红外图像的共同的显著性区域。现存的方法在对齐的RGBT图像对上执行，但是。
单目标追踪——【Transformer】Autoregressive Visual Tracking
qq_42312574的博客
08-31 1246
ARTrack 利用目标先前帧的预测位置，建模目标运动信息来辅助当前的目标追踪定位。原本的基于帧的追踪任务（次最优化**）变成了**序列追踪任务（最优化），这一点与目标追踪本身的定义一致。 2. 端到端的实现，没有预测头和后置操作。 3. 受到Pix2Seq的启发，利用相似的构建离散的坐标体系与Vision feature一同输入后续的Decoder。 4. 与先前SwimTrack将目标运动信息作为特征输入Decoder再借助Head输出定位相比，ARTrack 旨在用先前的轨迹教会模型如
目标跟踪算法个人理解-SeqTrack篇
nulishuaxinzhong的博客
08-31 2468
生成范式跟踪有两篇SeqTrack和ARTrack。ARTrack刚刚开源，后续也会总结一下这个工作。提示：以下是本篇文章正文内容，下面案例可供参考项目配置：同OSTrack配置基本一致OSTrack基础上的改进算法，将视觉跟踪建模为一个序列生成问题，以自回归的方式预测目标边界框。抛弃了设计复杂的头网络，采用encoder-decoder transformer architecture，编码器用ViT提取视觉特征(≈OSTrack)，而解码器用因果转换器自回归生成一个边界框值序列。
ar_track_alvar
power的专栏
10-28 4002
http://wiki.ros.org/ar_track_alvar https://github.com/ros-perception/ar_track_alvar Overview This package is a ROS wrapper forAlvar, an open source AR tag tracking library. ar_track_alvar has 4 m...
Pyhon—openpyxl修改某个表头的样式&其余单元格加边框线
weixin_42636075的博客
10-27 852
Pyhon—openpyxl修改某个表头的样式&其余单元格加边框线
【python】极简教程14-文件
每日出拳老爷子的博客
10-28 247
可以使用相对路径或绝对路径来访问文件。模式可以将内容写入文件，如果文件不存在会自动创建。捕获文件读取或写入时可能出现的异常。循环逐行读取文件，或者使用。模块可以帮助处理文件路径。函数打开文件，并通过。
在Python中高效去除列表中的重复元素
windowshht的博客
10-28 195
去除列表中的重复元素是Python编程中一个非常常见的任务。根据需求的不同，我们可以选择不同的方法来实现这一功能。无论是使用集合、字典，还是手动实现，都可以达到去重的效果。在实际开发中，我们应该根据具体情况选择最合适的方法，以提高代码的可读性和性能。希望通过本文的介绍，能够帮助你更好地理解如何在Python中处理列表中的重复元素。如果你有其他的去重方法或技巧，欢迎在评论区分享！
Java基础04
m0_74977981的博客
10-28 785
【注：】移位运算符的右移操作要完成模32的运算（除非左操作数是long类型，在这种情况下，需要对右操作数模64），例如：1
196.245.124.255.236.194.0.0.0.0.0.0.0.0.9 用python截取最后一个点后面的数据
最新发布
qq_44534541的博客
10-30 130
这个方法从字符串的右边开始分割，并且可以指定分割的最大次数。在Python中，如果你想要截取字符串中最后一个点（，因为它是最后一个点后面的数据。这段代码会处理没有点的情况（）和点的后面不是数字的情况（）后面的数据，你可以使用。
植物病害图像分割系统：智能化检测
prchen818的博客
10-30 945
数据集信息展示在现代农业生产中，植物病害的早期识别与处理至关重要。为了提升植物病害的自动检测与分割能力，本研究选用了名为“new_plant_diseases”的数据集，旨在训练和改进YOLOv8-seg模型，以实现高效、准确的植物病害图像分割。
安装python时Install launcher for all users灰色无法选中解决方法
夏末蝉未鸣的博客
10-30 207
解决办法：可能是上一次卸载python没卸载干净，在控制面板中卸载，把Python Launcher卸载掉。卸载完后，就可以正常安装了。
python如何读取Excel文件！
kaichekaihanma的博客
10-26 317
Python提供了多种库来读取Excel文件，其中最常用的是pandas和openpyxl。以下是使用这两种库读取Excel文件的案例（😄）。
DL-MPC （deep learning model predictive control）python 实现
qq_42210908的博客
10-27 364
DL-MPC（Deep Learning Model Predictive Control）是一种结合深度学习和模型预测控制的先进控制策略。其核心思想是利用深度学习模型来预测系统的未来行为，并通过模型预测控制来优化控制输入，从而实现对复杂系统的高效控制。深度学习模型预测控制参考链接：WangXiaoMingo/TensorDL-MPC
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

匿名的魔术师

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值