- 博客(122)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 GhostNetV3：探索紧凑型模型的训练策略学习笔记
紧凑型神经网络是专门为边缘设备上的应用而设计的，具有更快的推理速度和适度的性能。然而，目前紧凑型模型的训练策略是从传统模型中借鉴的，这忽略了它们在模型容量上的差异，从而可能会阻碍紧凑模型的性能。在本文中，通过系统地研究不同训练成分的影响，作者为紧凑模型引入了一种强训练策略。重参数化和知识蒸馏的适当设计对于训练高性能紧凑型模型至关重要，而用于训练传统模型的一些常用数据增强，如Mixup和CutMix，会导致较差的性能。
2024-04-21 01:03:30
1126
原创 DQ-DETR: DETR WITH DYNAMIC QUERY FOR TINY OBJECTDETECTION 学习笔记
此DQ-DETR与提出的同名，其主要集中于小目标的检测尽管之前的类似DETR的方法在通用目标检测中取得了成功，但在小目标检测方面仍然具有挑战性，因为目标 Query 的位置信息并未针对检测小物体进行定制，这些小物体的尺寸比一般物体小得多。此外，类似DETR的方法使用固定数量的 Query ，这使得它们不适用于只包含小物体的航空数据集，且不同图像之间的实例数量不平衡。
2024-04-20 22:12:30
808
原创 MobileNetV4-移动设备生态系统的通用模型学习笔记
这篇论文介绍了最新一代MobileNet卷积神经网络，被称为MobileNetV4(MNv4)，旨在为移动设备提供通用高效的架构设计。
2024-04-18 18:46:42
1388
原创 RMT: Retentive Networks Meet Vision Transformers学习笔记
Transformer首次出现在自然语言处理领域，后来迁移到计算机视觉领域，在视觉任务中表现出出色的性能。然而，最近，Retentive Network（RetNet）作为一种有可能取代Transformer的架构出现，引起了自然语言处理社区的广泛关注。因此，作者提出了一个问题，即将RetNet的思想迁移到视觉领域是否也能为视觉任务带来出色的性能。为了解决这个问题，作者将RetNet和Transformer结合起来，提出了RMT。
2024-04-14 23:10:06
936
原创 yolo增加Focaler-IoU
在目标检测领域，边界框回归起着至关重要的作用，而目标检测的定位精度很大程度上取决于边界框回归的损失函数。现有研究通过利用边界框之间的几何关系来提高回归性能，而忽略了难以和容易样本分布对边界框回归的影响。在这篇文章中，作者分析了难以和容易样本分布对回归结果的影响，然后提出了Focaler-IoU，通过关注不同的回归样本，该方法可以提高不同检测任务中的检测器性能。最后，作者使用现有的高级检测器和回归方法进行了不同检测任务的比较实验，并使用本文提出的办法进一步提高了检测性能。
2024-04-14 15:17:21
1051
原创 FAR: Flexible, Accurate and Robust 6DoF Relative Camera Pose Estimation 灵活、准确、稳健的 6DoF 相对相机姿态估计
估计图像之间的相对相机姿势一直是计算机视觉的核心问题。在大多数情况下，查找对应关系并求解基本矩阵的方法具有很高的精度（通过提取关键点进行匹配，如sift相反，直接使用神经网络预测姿态的方法对有限的重叠更可靠，并且可以推断出绝对的平移尺度，但代价是精度降低。作者的方法展示了如何结合两种方法的优点;我们的方法产生的结果既精确又稳健，同时还能准确地推断出平移尺度。模型的核心是一个，它1学习在求解（关键点匹配）和学习（直接预测）的姿态估计之间取得平衡，以及2。
2024-04-09 15:03:30
1000
原创 Windows下使用pybind11编译KMSolver
的库是预编译好的，仅支持特定的python3.7和linux环境，所以这里想在windows11下用pybind11编译KMSolver用python调用C++代码。打开cmake路径和编译器配置好后点生成，之后在build路径下找到Hungarian Algorithm.sln，并双击打开。最近搞相机重定位的项目，大多都是在linux系统上写的，使用windows配环境就非常多问题。项目在linux下运行正常，主要是想在windows下使用这个代码，其中有个。在当前路径下创建一个build目录。
2024-03-30 14:31:12
521
原创 DECO: Query-Based End-to-End Object Detection with ConvNets 学习笔记
近年来，Detection Transformer （DETR） 及其变体在准确检测目标方面显示出巨大的潜力。对象查询机制使DETR系列能够直接获得固定数量的目标预测，并简化了检测 pipeline。同时，最近的研究还表明，通过适当的架构设计，ConvNeXt这样的卷积网络（ConvNets）也可以与 transformers等变压器实现竞争性能。为此，在本文中，作者探讨了是否可以使用 ConvNet 而不是复杂的 transformer 架构构建基于查询的端到端目标检测框架。
2024-03-21 23:42:11
1150
原创 YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information
在此基础上，研究者对ELAN的应用范围进行了扩展，使其不再局限于传统的卷积层堆叠方式，而是能够灵活地适配各种计算单元，显著提升了网络的通用性和适应性。通过这种方法，主分支的特征金字塔不再仅仅被某一特定规模目标的信息所支配，而是能够综合考虑各种规模的目标信息，从而解决了深度监督可能引起的信息断裂问题。此外，多级辅助信息机制的灵活性体现在任何类型的集成网络都可以被用作信息聚合的工具，使得研究者能够根据不同大小的网络架构需求，定制化地规划所需的语义层级，从而指导模型学习。所有实验的结果列于表4中。
2024-02-22 13:47:01
660
原创 特征提取匹配方案不止SuperPoint
局部特征匹配在计算机视觉领域广泛应用，涵盖图像检索、3D重建和目标识别等领域。然而，由于视点和光照变化等因素，改进匹配的准确性和鲁棒性仍然面临挑战。近年来，深度学习模型的引入引发了对局部特征匹配技术的广泛探索。基于检测器的类别包括Detect-then-Describe、Joint Detection and Description、Describe-then-Detect以及基于图的技术。相反，不使用检测器的类别包括基于CNN的、基于Transformer的和基于Patch的方法。
2024-02-19 18:03:14
467
原创 解决python环境下Failed to load OpenH264 library: openh264-1.8.0-win64.dll
将该文件复制到虚拟环境中python工程根目录下，如下图我的环境名为yolo_cuda，将dll文件复制到此路径下即可。选择好自己的系统对应的库文件，我是windows，下载的是openh264-1.8.0-win64.dll。主要是应为原生安装的OpenCV是没有H264编码器的，需要自行配置。这里配置的是anaconda下python的虚拟环境。
2024-01-26 10:46:30
1204
原创 GroupMixFormer：Advancing Vision Transformers with Group-Mix Attention论文学习笔记
ViT 已被证明可以通过使用多头自注意力 （MHSA） 对远程依赖关系进行建模来增强视觉识别，这通常被表述为Query-Key-Value 计算。但是，从“Query”和“Key”生成的注意力图仅捕获单个粒度的token-to-token的相关性。在本文中，作者认为自注意力应该有一个更全面的机制来捕捉 tokens和groups（即多个相邻tokens）之间的相关性，以获得更高的表征能力。
2024-01-20 15:47:26
1268
原创 MS-DETR: Efficient DETR Training with Mixed Supervision论文学习笔记
DETR 通过迭代生成多个基于图像特征的目标候选者，并为每个真实目标分配一个候选者，从而实现端到端的目标检测。在原始DETR中使用一对一监督的传统训练方法缺乏对检测候选者的直接监督。作者旨在通过明确监督候选生成过程，将一对一监督和多对多监督混合，来提高DETR训练效率。MS-DETR简单地将多对多监督应用到用于推理的主要解码器（primary decoder）object query 上。
2024-01-15 22:35:20
1075
原创 yolo增加Shape-IoU，完美超越SIoU/EIoU/CIoU
作为检测定位分支的重要组成部分，边界框回归损失在目标检测任务中起着重要作用。现有的边界框回归方法通常考虑GT框和预测框之间的几何关系，通过相对位置和框形来计算损失，而忽略边界框的固有属性（如边界框的形状和尺寸）对边界框回归的影响。为了弥补现有研究的不足，本文提出了一种关注边界框自身形状和尺寸的边界框回归方法。首先，分析了边界框的回归特性，并发现边界框自身的形状和尺寸因素将对回归结果产生影响。基于上述结论提出了Shape IoU方法，该方法通过关注边界框自身的形状和尺寸来计算损失，从而使边界框回归更准确。
2024-01-03 18:39:05
3522
11
原创 解决-bash: /usr/bin/mv: Argument list too long
最近搞了个几百万张的图像数据到服务器上，使用mv移动数据时出现了"-bash: /usr/bin/mv: Argument list too long"的错误。命令，可以避免命令行参数列表太长的问题。命令，并将它们移动到目标文件夹中。命令将这些文件路径作为参数传递给。命令来查找源文件夹下所有后缀为。替换为实际的目标文件夹路径。的文件，并将它们的路径传递给。替换为实际的源文件夹路径，
2023-12-29 09:17:35
1200
原创 TransNeXt：稳健的注视感知ViT学习笔记
由于残差连接中的深度衰减效应，许多依赖堆叠层进行信息交换的高效视觉Transformer模型往往无法形成足够的信息混合，导致视觉感知不自然。为了解决这个问题，本文提出了一种基于生物模拟的聚合注意力，这是一种模拟生物注视（biological foveal vision）和连续眼动的设计基础的token mixer，它允许特征图上的每个Token都具有全局感知。
2023-12-28 22:42:23
1680
原创 yolov7简化网络yaml配置文件
了解v7的都知道，配置文件中网络层数多达100多层，不过并不复杂，相似的模块比较多，可以看到简化后配置文件的层数也就31层。贫穷打工牛马，项目之余改的，感觉改的还不是很优雅，欢迎小伙伴多提意见。之后修改yolo.py的cfg路径，如果运行成功能看到最上面的图。首先创建 yolov7-ELAN-E.yaml。本篇介绍如何简化yolov7的网络配置文件。在BaseModel的fuse函数中添加。在parse_model中添加模块名。在common.py中添加。
2023-12-14 00:27:38
740
原创 Group DETR:分组一对多匹配是加速DETR收敛的关键学习笔记
就是将输入decoder的query由300拓展到300*11（group）共3300，将其同时输入到decoder中一起计算。在计算loss时，在匈牙利匹配阶段会拆分为11组分别进行匹配，最后将各组的匹配结果，也就是索引值，再加上所在。
2023-12-06 10:39:07
1005
原创 旋转框（obb）目标检测计算iou的方法
首先先定义一组多边形，这里的数据来自前后帧的检测结果其中的每个列表元素代表一个多边形，列表中包含四个元素，分别代表多边形的顶点坐标。
2023-11-30 18:10:38
957
原创 Co-DETR:DETRs与协同混合分配训练代码学习笔记
此外，作者通过从这些辅助头部提取正坐标来进行额外的定制正查询，以提高解码器中正样本的训练效率。这里的encoder和decoder的deformable attention在\anaconda3\envs\codetr\Lib\site-packages\mmcv\ops\multi_scale_deform_attn.py中。代码的配置文件\Co-DETR\projects\configs\co_deformable_detr\co_deformable_detr_r50_1x_coco.py。
2023-11-25 23:15:51
1686
原创 Co-DETR:DETRs与协同混合分配训练论文学习笔记
作者提出了一种新的协同混合任务训练方案，即Co-DETR，以从多种标签分配方式中学习更高效的基于detr的检测器。这种新的训练方案通过训练ATSS和等一对多标签分配监督下的多个并行辅助头部，可以很容易地提高编码器在端到端检测器中的学习能力。此外，作者通过从这些辅助头部提取正坐标来进行额外的定制正查询，以提高解码器中正样本的训练效率。在推理中，这些辅助头被丢弃，因此，作者的方法不给原始检测器引入额外的参数和计算成本，同时不需要手工制作的非最大抑制(NMS)。
2023-11-23 23:26:13
2584
原创 ts视频文件转为mp4(FFmpeg)
有些视频资源下载下来之后发现是.ts的文件，除了用下载它时用的工具或是浏览器才能看，那有没有将ts文件转换成更加通用视频格式的方法。如果是windows系统，可以新建一个.bat的批处理文件，并将如下代码写入。大多时候ts文件并不是单个存在的，这里就需要将其合并之后再转换成mp4。的形式保存在file_paths.txt中。几乎万能的音视频工具--ffmpeg登场。1、对于单个.ts文件，将其转换为mp4。2、多个.ts文件，将其转换为mp4。
2023-11-17 20:41:38
1135
原创 yolo增加Inner-IoU，一文搞定（Inner-SIoU，Inner-WIoU，Inner-EIoU，Inner-MPDIoU）
随着检测器的迅速发展, 边框回归取得了巨大的进步。然而，现有的基于 IoU 的边框回归仍聚焦在通过加入新的损失项来加速收敛，忽视 IoU 损失项其自身的限制。尽管理论上 IoU 损失能够有效描述边框回归状态，在实际应用中，它无法根据不同检测器与检测任务进行自我调整，不具有很强的泛化性。基于以上，我们首先分析了 BBR 模式，得出结论在回归过程区分不同回归样本并且使用不同尺度的辅助边框计算损失能够有效加速边框回归过程。
2023-11-17 12:16:04
3713
2
原创 yolo改进替换VanillaNet backbone
基础模型的核心是“更多不同”的哲学，计算机视觉和自然语言处理的惊人成功就是例证。然而，优化的挑战和Transformer模型固有的复杂性要求范式向简单转变。在本研究中，我们介绍了VanillaNet，一个在设计中包含优雅的神经网络架构。通过避免高深度、快捷方式和复杂的操作，如自注意力，VanillaNet是令人耳目一新的简洁，但非常强大。每一层都被精心制作成紧凑和简单的结构，非线性激活函数在训练后被剪枝，以恢复原始的架构。VanillaNet克服了固有复杂性的挑战，使其成为资源紧张环境的理想选择。
2023-11-16 22:41:09
666
5
原创 RT-DETR代码学习笔记（DETRs Beat YOLOs on Real-time Object Detection）
基于Transformer的端到端检测器（DETR）已经取得了显著的性能。然而，DETR的高计算成本问题尚未得到有效解决，这限制了它们的实际应用，并使它们无法充分利用无后处理的好处，如非最大值抑制（NMS）。本文首先分析了现代实时目标检测器中NMS对推理速度的影响，并建立了端到端的速度基准。为了避免NMS引起的推理延迟，作者提出了一种实时检测Transformer（RT-DETR），这是第一个实时端到端目标检测器。
2023-11-09 11:07:46
1098
原创 mmcv中出现TypeError: FormatCode() got an unexpected keyword argument ‘verify‘
主要是因为最新版的yapf（0.40.2）中删除了verify的验证功能。最近安装Co-DETR项目环境时遇到如下的问题。
2023-10-30 18:21:24
2300
2
原创 FoLR:Focus on Local Regions for Query-based Object Detection论文学习笔记
自从DETR问询式检测器首次亮相以来，基于查询的方法在目标检测中引起了广泛关注。然而，这些方法面临着收敛速度慢和性能亚优等挑战。值得注意的是，在目标检测中，自注意力机制经常因其全局聚焦而妨碍了收敛。为了解决这些问题，作者提出了FoLR，一种仅包含解码器的类似Transformer的架构。作者通过隔离不相关目标之间的连接来增强自注意力机制，使其聚焦于局部区域而不是全局区域。作者还设计了自适应采样方法，从特征图中基于查询的局部区域提取有效特征。
2023-10-24 23:35:20
881
原创 试图带你一文搞懂transformer注意力机制（Self-Attention）的本质
162和160之间的距离为2，162与166之间的距离为4，160与166之间的距离为6，那么162->160取4/6的权重，162->166取2/6的权重。因为162在[160,166]之间，所以这里很容易的为他们分配更多的权重，更加的注意他们，越近分配的权重越大，分别为他们分配了2/3和1/3的注意力权重。但是在字典中，可能其他的键值对（key，value）对该query也可能存在影响，但是我们没有用上，那么要怎么用上字典中的所有数据，让估计的值更准确呢？所对应的注意力权重，那么体重的预测值。
2023-10-12 18:27:00
877
原创 CSwin Transformer 学习笔记
Cswin提出了上图中使用交叉形状局部attention，为了解决VIT模型中局部自注意力感受野进一步增长受限的问题，同时提出了局部增强位置编码模块，超越了Swin等模型，在多个任务上效果SOTA（当时的SOTA，已经被SG Former超越）。模型整体结构如上所示，由和4个stageblock所堆叠而成，每个后面都会接入一个conv层，用来对featuremap进行下采样。和典型的R50设计类似，每次下采样后，会增加dim的数量，一是为了提升感受野，二是为了增加特征性。
2023-10-11 16:55:27
444
原创 SG Former实战：训练自定义分类数据集
源码中数据集为Imagenet-1K，数据量比较大，完整的数据集容量超过100G，光是下载这个数据集就得花不少时间，为了玩转SG Former可以换成自定义的较小的数据集看看效果。直接将源码中labeled_memcached_dataset.py的McDataset()基础上进行修改。首先按照大多分类数据集的制作方式，文件夹名作为类别名，文件夹的结构和imagenet-1k的的一致。同时在main.py中--data设置数据集的路径./datasets。
2023-10-07 10:38:33
280
原创 torch.gather的作用
总之,torch.gather()是一个非常有用的函数,可以实现许多gather、切片、重排类的操作。需要配合dim和index参数设定来达到不同的效果。这里沿着输入张量的第1轴(列轴)进行gather,索引index指定了每一行抽取的元素索引,最终得到新的输出张量。torch.gather()作为PyTorch函数,它可以从一个张量中按照指定的索引来抽取元素。
2023-10-07 10:18:34
149
原创 SG Former论文学习笔记
超越SWin和CSWin Transformer的新模型论文地址：ViT在各种视觉任务中虽然成功，但它的计算成本随着Token序列长度的增加呈二次增长，这在处理大型特征图时大大限制了其性能。为了减轻计算成本，先前的研究依赖于要么限制在局部小区域内的细粒度Self-Attention，要么采用全局Self-Attention，但要缩短序列长度，从而导致粗粒度的问题。Self-Guided Transformer（SG-Former），以实现具有自适应细粒度的有效全局Self-Attention。
2023-10-03 17:22:02
1484
7
原创 yolo增加slide loss，改善样本不平衡问题
然而，由于分类不明确，边界附近的样本往往会遭受较大的损失。然后，通过加权函数Slide对边界处的样本进行强调，如图 4 所示。函数来解决这个问题。简单样本和困难样本之间的区别是基于预测框和ground truth 框的IoU大小。为了减少超参数，将所有边界框的 IoU 值的平均值作为阈值 µ，小于µ的取负样本，大于µ的取正样本。样本不平衡问题，即在大多数情况下，容易样本的数量很大，而困难样本相对稀疏，引起了很多关注。slide loss的主要作用是让模型更加关注难例，可以轻微的改善模型在难例检测上的效果。
2023-09-24 00:16:46
2339
4
原创 yolo增加MPDIoU loss
边界框回归（Bounding Box Regression，BBR）在目标检测和实例分割中被广泛应用，是定位目标的重要步骤。然而，大多数现有的边界框回归损失函数在预测框与实际标注框具有相同的宽高比但宽度和高度值完全不同的情况下无法进行优化。为了解决上述问题，作者充分探索了水平矩形的几何特征，提出了一种基于最小点距离的边界框相似度比较度量——MPDIoU，其中包含了现有损失函数中考虑的所有相关因素，例如重叠或非重叠面积、中心点距离以及宽度和高度的偏差，同时简化了计算过程。
2023-09-10 22:58:11
1626
10
原创 yolov7增加重参数化的深度可分离卷积（mobileone）
在这里，我修改的思路不是将mobileone的backbone整体替换，而是保留v7tiny每个ELAN block，将每个block中的3*3卷积替换为图3中的重参数化的深度可分离卷积，这样既保留了网络整体结构，同时又将重参数化的mobileone block添加到网络结构中。左侧分支是过参数化的1×1卷积，由k个1×1卷积构成。这里的1×1卷积和3×3卷积都是深度卷积（也即分组卷积，分组数g等于输入通道数）。融合之后看起来就是将ELAN中的两个3*3的卷积替换成深度可分离卷积的形式。
2023-09-10 10:41:35
1239
3
原创 yolov7-tiny简化网络yaml配置文件
yolov7代码结构简单，效果还好，但是动辄超过70层的配置文件对于想要对网络进行魔改的朋友还是不怎么友好的，使用最小的tiny也有77层。代码的整体结构简单，直接将ELAN结构化写成一个类就能像yolov5一样仅仅之后20几层，方便对网络结构的魔改，看着也不容易头晕。先创建配置文件yolov7-tiny-ELAN.yaml。在yolo.py中的parse_model中增加。这里先放一张改好的网络结构运行结果。在common.py中增加。
2023-09-09 12:42:16
1375
4
原创 yolo增加mobileone
MobileOne出自Apple，它的作者声称在iPhone 12上MobileOne的推理时间只有1毫秒，这也是MobileOne这个名字中One的含义。从MobileOne的快速落地可以看到重参数化在移动端的潜力：简单、高效、即插即用。
2023-08-30 18:28:05
531
原创 yolo增加RFEM
总的来说就是RFEM利用了感受野在特征图中的优势，通过使用不同膨胀卷积率的分支来捕捉多尺度信息和不同范围的依赖关系。这种设计有助于减少参数数量，降低过拟合风险，并充分利用每个样本。
2023-08-29 16:41:46
4579
原创 python打包exe可执行文件
在图形界面中点击“Select Python File”选择要打包的Python文件，可以选择是否打包为单文件还是目录,是否包含别的文件数据等，选择输出exe文件保存的位置。执行完之后会在对应的文件夹下生成yourscript.exe文件，编译大型项目时需要修改xx.spec中的一些参数。Nuitka可以将Python编译成可执行的二进制文件或扩展模块,使用GCC和libpython。auto-py-to-exe运行，这会打开图形界面。3、使用auto-py-to-exe。1、使用pyinstaller。
2023-08-29 13:59:09
292
原创 YOLO-MS: Rethinking Multi-Scale Representation Learning for Real-time Object Detection(论文学习笔记)
性能超越YOLOv8与RTMDet，即插即用代码地址：文中给了github地址，但是暂时打不开（2023.08.15）摘要作者旨在为目标检测社区提供一种高效且性能卓越的目标检测器，称为YOLO-MS。核心设计基于一系列对不同Kernel-Size卷积如何影响不同尺度上目标检测性能的研究。研究结果是一种可以显著增强实时目标检测器多尺度特征表示的新策略。为了验证作者策略的有效性，作者构建了一个名为YOLO-MS的网络架构。
2023-08-15 20:47:45
2044
2024年之前局部特征匹配算法总结，匹配不止superpoint
2024-02-19
widerface lanmark ground truth
2022-10-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人