MixFormer代码调试（问题记录+解决）

已于 2023-06-26 16:41:25 修改
阅读量687 收藏 12
点赞数
文章标签： 人工智能 计算机视觉 神经网络
于 2023-06-26 16:01:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_68074170/article/details/131398094
版权

原代码链接：GitHub - MCG-NJU/MixFormer: [CVPR 2022 Oral] MixFormer: End-to-End Tracking with Iterative Mixed Attention

（一）测试自己的图像

1.设置文件路径

①修改文件名，直接输入anconda prompt，报错

 作如下修改，把原来的注释掉

 再次运行没有报错

②

把create_default_local_file.py里的这三个参数改掉，不然会一直弹出

 然后就可以在anconda prompt里输入 python tracking/create_default_local_file.py 

                 或者在pycharm里直接运行create_default_local_file.py

 可以看到lib/text/evaluation/local.py这个文件里的各个路径设置成功

③在pycharm里直接运行local.py，报错

 修改

 2.运行自己的viedo

 

python tracking/video_demo.py mixformer_cvt_online baseline '/GOT-10k_Test_000001.avi' --optional_box 395 340 532 407 --params__model mixformer_cvt_online_22k.pth.tar --debug 1 --params__search_area_scale 4.5 --params__update_interval 10 --params__online_sizes 5

①报错

 修改，把下面三行注释掉

 ②报错

（二）看推理部分代码

（三）下载训练数据，看训练部分代码

每天进步一......
关注
  • 0
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
TPAMI 2024 | MixFormer: 基于迭代混合注意力的端到端跟踪
小白学视觉
07-02 325
视觉目标跟踪通常采用多阶段流水线，包括特征提取、目标信息集成和边界框估计。为了简化这一流程并统一特征提取和目标信息集成的过程，本文提出了一种紧凑的跟踪框架，称为 MixFormer，基于 transformers 构建。我们的核心设计是利用注意力操作的灵活性，提出了一种混合注意力模块（MAM），用于同时进行特征提取和目标信息集成。这种同步建模方案使我们能够提取目标特定的判别特征，并在目标和搜索区域之间进行广泛的通信。
MixFormerOnlineScore train代码分析
IS_MOKE的博客
07-18 142
代码】MixFormerOnlineScoretrain代码分析。
目标跟踪MixFormer代码配置过程
weixin_45337630的博客
12-22 1738
对MixForer代码的测试及训练的调试
Mixformer train代码解读
IS_MOKE的博客
05-03 254
def run(settings): # Build dataloaders loader_train, loader_val = build_dataloaders(cfg, settings) # Create network net = build_mixformer(cfg) # wrap networks to distributed one settings.deep_sup = getattr(cfg.TRAIN, "DEEP_SUPERVI
MixFormer（论文解读与代码讲解）1
dhdhhy的博客
04-27 4526
论文地址，代码地址 动机：打破CNN做backbone的僵局。 贡献： 1、依靠迭代的混合注意力机制（MAM）设计端到端的跟踪模块，可以代替CNN实现特征的提取，可以代替互相关操作实现模板与搜索图像之间的关联。 2、在MAM中设计了一个定制的非对称关注作用于在线模板更新，，并提出了一个有效的评分预测模块来选择高质量的模板。 3、性能优异 Mixed Attention Module (MAM) ...
MixFormer（论文解读与代码讲解）3
dhdhhy的博客
05-22 1329
Stage2，Stage3，就是stage1的重复，但Stage2中block会重复4次，Stage3中block会重复16次 具体细节就不多讲了 for i in range(self.num_stages): template, online_template, search = getattr(self, f'stage{i}')(template, .
MixFormer(CVPR22)+SBT(CVPR22)
weixin_44062176的博客
03-16 845
track方向会议总结
HDBN NOVELHYBRIDDUAL-BRANCHNETWORKFORROBUSTSKELETON-BASED
04-27
为了解决这一问题，本文提出了一种名为Hybrid Dual-Branch Network (HDBN)的新架构，旨在通过融合不同网络的优势来提高动作识别的准确性和鲁棒性。 #### 方法论 HDBN由两个分支组成：MixGCN和MixFormer。这两个...
MixFormer：新一代的图像分类与分割模型，引领视觉计算新潮流
gitblog_00070的博客
04-20 854
MixFormer：新一代的图像分类与分割模型，引领视觉计算新潮流 MixFormer[CVPR 2022 Oral] MixFormer: End-to-End Tracking with Iterative Mixed Attention 项目地址:https://gitcode.com/gh_mirrors/mi/MixFormer 项目简介 是南京大学多媒体计算研究组（MCG）推出的一...
MixFormerV2: Efficient Fully Transformer Tracking
Sky_小天
07-26 1329
视觉物体跟踪一直是计算机视觉中一项基本而长期的任务，目的是在其初始边界框的视频序列中定位物体。它有广泛的实际应用，通常需要较低的计算延迟。因此，在保持高精度的同时，设计一个更高效的跟踪架构是很重要的。最近，基于变压器的单流跟踪器[7,14,54]获得了良好的跟踪精度，由于变压器块内的特征提取和目标集成的统一建模，这允许两个组件受益于变压器的开发（例如，维特[17]，自我监督预训练[23]或对比预训练[42]）。然而，对于这些跟踪器来说，推理效率，特别是在CPU上，仍然是实际部署的主要障碍。
MixFormer v2(NIPS23)
weixin_44062176的博客
01-29 525
对MixFormer v2的总结
MixFormer track代码解读
IS_MOKE的博客
04-25 209
tracker/ mixformer_online.py H, W, _ = image.shape 400 720 self.frame_id += 1 x_patch_arr, resize_factor, x_amask_arr = sample_target(image, self.state, self.params.search_factor,
【目标跟踪】|Mixformer
qq_35608277的博客
07-10 810
以往跟踪框架存在的问题：（1）需要多个组件构成；（2）CNN-based方法缺乏全局建模能力；（3）Transformer-based方法仍依赖CNN提取特征，并在高层特征上进行注意力建模。为了克服上述问题，作者把特征提取和信息基础进行统一。首先，使特征提取更具体到跟踪目标，提取更多目标判别性特征。其次，将目标信息更广泛地集成到搜索区域中，从而更好的捕获它们之间的相关性。最后，获得了一个更加紧凑和优雅的跟踪框架，无需显式的集成模块。提出MAM（Mixed Attention Module）同时进行进行特征提
MixFormer目标跟踪CVPR2022（代码调试）
dhdhhy的博客
04-26 3868
准备阶段：代码下载、数据集下载，文件配置等，点击地址查看。 代码调试： 1、不运行运行train.py（但因为使用的os.system()不能debug到内部查看） 2、直接运行run_training.py，这里会报错（原因在于arg没有配置好） 参考： def main(): parser = argparse.ArgumentParser(description='Run a train scripts in train_settings.') parser.add_a..
探索未来追踪技术的明珠：MixFormerV2
最新发布
gitblog_00017的博客
06-21 451
探索未来追踪技术的明珠：MixFormerV2 项目地址:https://gitcode.com/MCG-NJU/MixFormerV2 在视觉追踪领域，精度与速度的平衡始终是研究人员追求的目标。随着Transformer架构的崛起，一种全新的高效全变换器跟踪框架——MixFormerV2应运而生，并在即将召开的NeurIPS 2023上大放异彩。本文将带你深入了解这个突破性的开源项目，展示其技术...
MixFormer: End-to-End Tracking with Iterative Mixed Attention解读
IS_MOKE的博客
04-16 2951
MixFormer: End-to-End Tracking with Iterative Mixed Attention 代码、文章： https://github.com/MCG-NJU/MixF ormer. Abstract 跟踪通常采用特征提取、目标信息集成和bbox估计的多级流程。为了简化这一流程，并统一特征提取和目标信息集成的过程，我们提出了一个紧凑的跟踪框架，称为MixFormer，建立在Tranformer上。我们的核心设计是利用注意力操作的灵活性，提出了一种混合注意模块(MAM)，用于特
MixFormer步骤流程概述
dhdhhy的博客
05-22 1656
参考图 Stage1 1、 输入：模板，在线模板，搜索三组图像 2、为每个输入添加位置编码 （实际上是nn.Conv2d( 通道3->64, 卷积核大小(7, 7), 步长(4, 4), 填充(2, 2)）的卷积操作，然后归一化） 3、模板，在线模板和搜索做拼接（以组和通道做高宽，以原始的（w，h）拉伸作为拼接的通道） 4，然后进入block 4.1、Norm归一化 4.2、进入Att模块 4.2.1、 ...
MixFormer学习笔记
qq_43437453的博客
05-23 1827
视觉对象跟踪通常采用特征提取、目标信息集成和边界框估计的多阶段管道。为了简化这一流程，并统一特征提取和目标信息集成的过程，本文提出了一种基于转换器的紧凑跟踪框架MixFormer。我们的核心设计是利用注意力操作的灵活性，并提出一种混合注意力模块(MAM)来同时进行特征提取和目标信息整合。这种同步建模方案允许提取特定于目标的区分特征，并在目标和搜索区域之间进行广泛的通信。基于 MAM，我们只需通过堆叠多个 MAM 并将定位头放在顶部来构建我们的 MixFormer跟踪器。
CVPR-2022- MixFormer: End-to-End Tracking with Iterative Mixed Attention 阅读笔记
菜菜子hoho的博客
04-23 1270
目录端到端的MixFormer跟踪整体框架Mixed attention module (MAM)基于角的定位头基于查询的定位头分数预测模块（SPM） 论文地址： https://arxiv.org/abs/2203.11082 代码地址： https://github.com/MCG-NJU/MixFormer 端到端的MixFormer跟踪整体框架 它只由一个基于MAM的主干和一个定位头组成，MAM为混合注意模块（Mixed Attention Module），用来完成特征提取和目标信息合并的过程。S
mixformer: mixing features across windows and dimensions
04-29
Mixformer是一种结合不同窗口和维度的特征混合方法。在自然语言处理中，深度神经网络已经被广泛应用于各种任务中。神经网络通常将输入词嵌入到低维向量空间中，并从中学习任务相关的特征。传统的方法是对整个输入序列进行卷积或循环操作，但是由于输入序列可能很长，这些方法会导致模型参数过多，模型难以训练。因此，Mixformer提出了一种新的特征混合方法来解决这个问题。 Mixformer首先将输入序列分成不同的w个窗口，每个窗口包含h个词，可以理解为是一种局部特征提取方法。然后，每个窗口中的词都会获得一个K维的注意力向量，以捕捉词汇之间的关系。这些向量将被用于加权计算该窗口内的所有词的特征表示。最后，所有窗口的特征表示将被合并为一个完整的输入表示，并通过MLP层进行分类或其他任务。 Mixformer的优势在于，它可以同时在不同的输入维度中捕捉关系，例如，捕捉两个单词在不同位置上共现的频率。此外，Mixformer采用多头自注意力机制，允许它同时关注不同窗口和不同维度中的不同信息。这使得它可以更好地定位输入序列中的重要特征，从而提高了性能。总之，Mixformer是一种强大的特征混合方法，旨在改善自然语言处理中的各种任务。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值