深度学习笔记
文章平均质量分 88
athrunsunny
这个作者很懒,什么都没留下…
展开
-
XFeat:速度精度远超superpoint的轻量级图像匹配算法
XFeat (Accelerated Features)重新审视了卷积神经网络中用于检测、提取和匹配局部特征的基本设计选择。该模型满足了对适用于资源有限设备的快速和鲁棒算法的迫切需求。由于准确的图像匹配需要足够大的图像分辨率,算法在限制网络中通道数量的同时保持尽可能大的分辨率。该模型提供稀疏或半密集级别的匹配选择,每种匹配可能更适合不同的下游应用,例如视觉导航和增强现实。原创 2024-06-02 16:07:16 · 1664 阅读 · 0 评论 -
yolov10/v8 loss详解
yolov10出了就想看看它的loss设计有什么不同,看下来由于v8和v10的loss部分基本一致就放一起了。v10的,还没看的可以看看,初步尝试耗时确实有提升好记性不如烂笔头,还是得记录一下,以免忘了,废话结束!!!原创 2024-05-30 21:23:59 · 2157 阅读 · 1 评论 -
YOLOV10实时端到端目标检测
本文介绍了YOLO系列目标检测器在实时和高效方面的优势,但是仍然存在一些缺陷,包括依赖非极大值抑制(NMS)后处理导致部署效率降低,以及模型架构设计还有待进一步优化。提出了一种一致双赋值策略( consistent dual assignment),用于无需NMS的YOLO训练,可以在保持检测性能的同时提高部署效率。提出了一种全面的高效-高精度驱动的模型设计策略,从效率和精度两个角度对YOLO的各个组件进行了优化设计。原创 2024-05-25 00:04:10 · 1492 阅读 · 0 评论 -
最强特征点检测算法 DeDoDe v1/v2
关键点检测是3D重建中的关键步骤,通过该步骤可以在场景的每个视图中检测到(最多)K个点的集合。至关重要的是,检测到的点需要在视图之间保持一致,即对应于场景中的同一3D点。关键点检测的主要挑战之一是学习目标的制定。以前基于学习的方法通常将描述符与关键点联合学习,并将关键点检测视为对相互最近邻的二元分类任务。然而,基于描述符最近邻的关键点检测是一项代理任务,不能保证产生3D一致的关键点。此外,这将关键点与特定描述符联系在一起,使下游使用变得复杂。在这项工作中,直接从3D一致性中学习关键点。原创 2024-05-08 00:03:31 · 752 阅读 · 0 评论 -
GhostNetV3:探索紧凑型模型的训练策略学习笔记
紧凑型神经网络是专门为边缘设备上的应用而设计的,具有更快的推理速度和适度的性能。然而,目前紧凑型模型的训练策略是从传统模型中借鉴的,这忽略了它们在模型容量上的差异,从而可能会阻碍紧凑模型的性能。在本文中,通过系统地研究不同训练成分的影响,作者为紧凑模型引入了一种强训练策略。重参数化和知识蒸馏的适当设计对于训练高性能紧凑型模型至关重要,而用于训练传统模型的一些常用数据增强,如Mixup和CutMix,会导致较差的性能。原创 2024-04-21 01:03:30 · 1802 阅读 · 0 评论 -
MobileNetV4-移动设备生态系统的通用模型学习笔记
这篇论文介绍了最新一代MobileNet卷积神经网络,被称为MobileNetV4(MNv4),旨在为移动设备提供通用高效的架构设计。原创 2024-04-18 18:46:42 · 4484 阅读 · 1 评论 -
FAR: Flexible, Accurate and Robust 6DoF Relative Camera Pose Estimation 灵活、准确、稳健的 6DoF 相对相机姿态估计
估计图像之间的相对相机姿势一直是计算机视觉的核心问题。在大多数情况下,查找对应关系并求解基本矩阵的方法具有很高的精度(通过提取关键点进行匹配,如sift相反,直接使用神经网络预测姿态的方法对有限的重叠更可靠,并且可以推断出绝对的平移尺度,但代价是精度降低。作者的方法展示了如何结合两种方法的优点;我们的方法产生的结果既精确又稳健,同时还能准确地推断出平移尺度。模型的核心是一个,它1学习在求解(关键点匹配)和学习(直接预测)的姿态估计之间取得平衡,以及2。原创 2024-04-09 15:03:30 · 1088 阅读 · 0 评论 -
DECO: Query-Based End-to-End Object Detection with ConvNets 学习笔记
近年来,Detection Transformer (DETR) 及其变体在准确检测目标方面显示出巨大的潜力。对象查询机制使DETR系列能够直接获得固定数量的目标预测,并简化了检测 pipeline。同时,最近的研究还表明,通过适当的架构设计,ConvNeXt这样的卷积网络(ConvNets)也可以与 transformers等变压器实现竞争性能。为此,在本文中,作者探讨了是否可以使用 ConvNet 而不是复杂的 transformer 架构构建基于查询的端到端目标检测框架。原创 2024-03-21 23:42:11 · 1240 阅读 · 0 评论 -
YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information
在此基础上,研究者对ELAN的应用范围进行了扩展,使其不再局限于传统的卷积层堆叠方式,而是能够灵活地适配各种计算单元,显著提升了网络的通用性和适应性。通过这种方法,主分支的特征金字塔不再仅仅被某一特定规模目标的信息所支配,而是能够综合考虑各种规模的目标信息,从而解决了深度监督可能引起的信息断裂问题。此外,多级辅助信息机制的灵活性体现在任何类型的集成网络都可以被用作信息聚合的工具,使得研究者能够根据不同大小的网络架构需求,定制化地规划所需的语义层级,从而指导模型学习。所有实验的结果列于表4中。原创 2024-02-22 13:47:01 · 769 阅读 · 0 评论 -
MPDIoU: A Loss for Efficient and Accurate Bounding BoxRegression--论文学习笔记
边界框回归(Bounding Box Regression,BBR)在目标检测和实例分割中被广泛应用,是定位目标的重要步骤。然而,大多数现有的边界框回归损失函数在预测框与实际标注框具有相同的宽高比但宽度和高度值完全不同的情况下无法进行优化。为了解决上述问题,作者充分探索了水平矩形的几何特征,提出了一种基于最小点距离的边界框相似度比较度量——MPDIoU,其中包含了现有损失函数中考虑的所有相关因素,例如重叠或非重叠面积、中心点距离以及宽度和高度的偏差,同时简化了计算过程。原创 2023-08-02 00:26:02 · 6373 阅读 · 0 评论 -
YOLO-MS: Rethinking Multi-Scale Representation Learning for Real-time Object Detection(论文学习笔记)
性能超越YOLOv8与RTMDet,即插即用代码地址:文中给了github地址,但是暂时打不开(2023.08.15)摘要作者旨在为目标检测社区提供一种高效且性能卓越的目标检测器,称为YOLO-MS。核心设计基于一系列对不同Kernel-Size卷积如何影响不同尺度上目标检测性能的研究。研究结果是一种可以显著增强实时目标检测器多尺度特征表示的新策略。为了验证作者策略的有效性,作者构建了一个名为YOLO-MS的网络架构。原创 2023-08-15 20:47:45 · 2402 阅读 · 0 评论 -
AFPN: Asymptotic Feature Pyramid Network for Object Detection-全新特征融合模块AFPN,完胜PAFPN
直接看图说话代码地址:多尺度特征在目标检测任务中对具有尺度方差的目标进行编码时具有重要意义。多尺度特征提取的一种常见策略是采用经典的自上而下和自下而上的特征金字塔网络。然而,这些方法遭受特征信息的丢失或退化,削弱了非相邻 Level 的融合效果。本文提出了一种渐近特征金字塔网络(AFPN)来支持非相邻层的直接交互。AFPN是通过融合两个相邻的Low-Level特征来启动的,并渐进地将High-Level特征纳入融合过程。通过这种方式,可以避免非相邻 Level 之间的较大语义差距。原创 2023-07-03 21:24:32 · 14906 阅读 · 3 评论 -
超越ShuffleNet、MobileNet、MobileViT等模型的新backbone FasterNet
为了设计快速神经网络,许多工作都集中在减少浮点运算(FLOPs)的数量上。然而,作者观察到FLOPs的这种减少不一定会带来延迟的类似程度的减少。这主要源于每秒低浮点运算(FLOPS)效率低下。为了实现更快的网络,作者重新回顾了FLOPs的运算符,并证明了如此低的FLOPS主要是由于运算符的频繁内存访问,尤其是深度卷积。因此,本文提出了一种新的partial convolution(PConv),通过同时减少冗余计算和内存访问可以更有效地提取空间特征。原创 2023-03-16 20:47:22 · 2260 阅读 · 0 评论 -
提升小目标检测新的包围框相似度度量:Normalized Gaussian Wasserstein Distance
检测小目标是个很大的挑战,因为小目标一般在尺寸上只占据很少的像素,目前的最好的物体检测器也无法在小目标上取得满意的效果,因为缺少明显的信息量。我们发现,目前的基于IoU的度量方法,对于小目标的位置的变化非常的敏感,因此,当我们在使用基于anchors的方法时,会明显的使得检测结果。为了减轻这个影响,我们对于小目标,提出了基于Wasserstein距离的度量方式。原创 2023-03-15 15:43:02 · 4198 阅读 · 5 评论 -
IoU Loss综述(IOU,GIOU,CIOU,EIOU,SIOU,WIOU)
边界框回归(BBR)的损失函数对于目标检测至关重要。它的良好定义将为模型带来显著的性能改进。大多数现有的工作假设训练数据中的样本是高质量的,并侧重于增强BBR损失的拟合能力。原创 2023-02-03 20:18:14 · 21529 阅读 · 15 评论 -
yolov5 loss函数理解
不同于IOU匹配,yolov5采用基于宽高比例的匹配策略,GT的宽高与anchors的宽高对应相除得到ratio1,anchors的宽高与GT的宽高对应相除得到ratio2,取ratio1和ratio2的最大值作为最后的宽高比,该宽高比和设定阈值(默认为4)比较,小于设定阈值的anchor则为匹配到的anchor。2、Objectness loss,obj置信度损失,采用BCE loss,计算的是所有样本的obj损失。1、Classes loss,分类损失,采用BCE loss,只计算正样本的分类损失。原创 2022-12-17 17:24:51 · 6162 阅读 · 3 评论 -
理解yolov7网络结构
以下是yolov7网络结构配置的yaml,对每一层的输出加了注释。原创 2022-07-25 14:43:53 · 5007 阅读 · 5 评论 -
理解yolov6网络结构
先上一张yolov6的网络架构图片来源于网络 yolov6使用了repVGG作为backbone 如果不了解repVGG的可以看原文 这里简单过一下,repVGG其核心思想是:通过结构重参数化思想,让训练网络的多路结构转换为推理网络的单路结构,结构中均为3x3的卷积核,同时,计算库(如CuDNN,Intel MKL)和硬件针对3x3卷积有深度的优化,最终可以使网络有着高效的推理速率。 其中 由于多路结构在不同的分支应用不同大小的卷积核,能够获得不同的原创 2022-07-11 20:16:08 · 4204 阅读 · 1 评论 -
理解匈牙利算法
匈牙利算法(Hungarian Algorithm)是一种组合优化算法(combinatorial optimization algorithm),用于求解指派问题(assignment problem),算法时间复杂度为。Harold Kuhn发表于1955年,由于该算法基于两位匈牙利数学家的早期研究成果,所以被称作“匈牙利算法”。 Python中的scipy.optimize.linear_sum_assignment可以很好的解决这个问题,这里用官方给的例子来讲一下对匈牙利算法的理解...原创 2022-03-15 16:17:09 · 6831 阅读 · 5 评论