![](https://img-blog.csdnimg.cn/5308c9c7ce0e477f828a124b9534f579.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
目标检测
文章平均质量分 94
从0入门目标检测(基于pytorch)
Frankenstein@
月亮你要,六便士你还嫌少。
展开
-
目标检测论文阅读:YOLOv1算法笔记
我们提出了YOLO,一种新的目标检测方法。先前的目标检测工作对分类器稍加修改来执行检测。取而代之的是,我们将目标检测表示为空间上分离的边界框的回归问题和与之相关的类别概率。单个神经网络在一次评估中直接从整个图像中预测边界框和类别概率。由于整个检测pipeline是一个单一的网络,因此可以直接对检测性能进行端到端的优化。我们的统一结构速度极快。我们的基础YOLO模型可以以每秒45帧的速度实时处理图像。该网络的一个较小的版本,Fast YOLO,以惊人的每秒155帧的速度运行。原创 2023-03-30 22:54:44 · 224 阅读 · 1 评论 -
目标检测论文阅读:RepPoints v2算法笔记
验证和回归是神经网络中两种常用的预测方法。每种方法都有自己的优点:验证可以更容易准确地推理,回归对连续的目标变量更加有效和适用。因此,仔细地将它们结合起来以利用它们的好处往往是有益的。在本文中,我们采用这一思想来改进SOTA的目标检测,特别是RepPoints。尽管RepPoints提供了高性能,但我们发现它严重依赖回归来进行目标定位,这给RepPoints带来了改进的空间。我们将验证任务引入到RepPoints的定位预测中,产生了RepPoints v2。原创 2023-03-15 22:46:20 · 522 阅读 · 2 评论 -
目标检测论文阅读:DeFCN(POTO+3DMF)算法笔记
基于全卷积网络的主流目标检测器取得了令人印象深刻的性能。然而,它们中的大多数仍然需要手工设计的非极大值抑制后处理,这妨碍了完全的端到端训练。在本文中,我们给出了丢弃NMS的分析,结果表明适当的标签分配起着至关重要的作用。为此,针对全卷积检测器,我们引入一种预测感知的一对一标签分配进行分类,使能够端到端的检测,获得了与NMS相当的性能。此外,还提出了一个简单的3D最大滤波来利用多尺度特征,提高卷积在局部区域的可识别力。原创 2023-03-12 22:05:13 · 419 阅读 · 0 评论 -
知识蒸馏论文阅读:DKD算法笔记
SOTA的蒸馏方法主要基于蒸馏来自中间层的深度特征,而logit蒸馏的重要性被极大地忽略。为了给logit蒸馏的研究提供一个新的视角,我们将经典的KD损失重新表示为两部分,即目标类知识蒸馏(TCKD)和非目标类知识蒸馏(NCKD)。我们经验地研究并证明了这两部分的作用:TCKD迁移了关于训练样本的“难度”的知识,而NCKD则是logit蒸馏起作用的重要原因。更重要的是,我们揭示了经典的KD损失是一个耦合的形式,它①抑制了NCKD的有效性,②限制了平衡这两部分的灵活性。为了解决这些问题,我们提出解耦知识蒸馏。原创 2023-03-08 11:00:41 · 1335 阅读 · 1 评论 -
目标检测论文阅读:RepPoints算法笔记
现代目标检测器在各个识别阶段严重依赖于矩形边界框来表示目标,如锚框、建议和最终预测。边界框使用方便,但是只提供了目标的粗糙定位,导致目标特征相应地粗糙提取。在本文中,我们提出RepPoints,一种新的更精细的目标表示,它是一组对定位和识别都有益的采样点。给定用于训练的真值位置和识别目标,RepPoints学习以一种限制目标的空间范围并指示语义显著的局部区域的方式来自动地排列自己。而且它们不需要使用anchor来采样边界框空间。原创 2023-03-03 00:34:39 · 374 阅读 · 4 评论 -
目标检测论文阅读:CBNet算法笔记
本文我们提出了一种新颖且灵活的主干框架,即CBNet,在预训练微调(pre-training fine-tuning)范式下利用现有的开源预训练主干来构建高性能检测器。特别地,CBNet结构组合了多个相同的主干,通过复合连接(composite connection)进行连接。具体来说,它融合了多个相同主干网络的高层和低层特征,并逐步扩大感受野,以更有效地进行目标检测。我们还针对CBNet-based检测器提出了一种更好的具有辅助监督(auxiliary supervision)的训练策略。原创 2023-02-27 19:39:24 · 509 阅读 · 1 评论 -
弱监督论文阅读:P2BNet算法笔记
近年来,使用单点监督的目标检测受到了越来越多的关注。然而,点监督目标检测与边界框监督检测的性能差距仍然很大。在本文中,我们将如此大的性能差距归因于未能生成对多实例学习至关重要的高质量建议包。为了解决这个问题,我们给现成建议方法引入了一种轻量级的替代,并由此创建了点到框网络,它可以通过以一种锚框式的方式生成建议来构建目标间平衡的建议包。P2BNet通过充分挖掘精确的位置信息,进一步构建实例级的包,避免了多个目标的混合。最后,以级联的方式使用由粗到精的策略来改善建议与真值之间的IoU。原创 2023-02-25 22:06:21 · 1299 阅读 · 0 评论 -
知识蒸馏论文阅读:LD算法笔记
在目标检测中,知识蒸馏(KD)在学习小型模型方面具有强大的能力。以前用于目标检测的KD方法大多侧重于模仿那些要模仿区域内的深层特征,而不是模仿分类logit,因为它在蒸馏定位信息方面效率很低,而且没有什么改进。本文通过重新表述定位知识蒸馏过程,提出了一种新的定位蒸馏(LD)方法,可以有效地将定位知识从教师迁移给学生。此外,我们还启发式地引入了有价值定位区域的概念,可以帮助选择性地蒸馏特定区域的语义和定位知识。原创 2023-02-23 16:35:20 · 892 阅读 · 2 评论 -
知识蒸馏论文阅读:FGD算法笔记
知识蒸馏已经成功应用于图像分类。然而,目标检测要复杂得多,大多数知识蒸馏方法都失败了。本文指出在目标检测中,教师和学生在不同区域的特征差异很大,尤其是在前景和背景区域。如果我们将它们同样地蒸馏,特征图之间的不均匀差异会对蒸馏产生负面影响。因此,我们提出了局部和全局蒸馏(FGD)。局部蒸馏将前景和背景分离,迫使学生关注教师的关键像素和通道。全局蒸馏重建了不同像素之间的关系,并将其从教师传递给学生,弥补了局部蒸馏丢失的全局信息。由于我们的方法只需要计算特征图上的损失,因此FGD可以应用于各种检测器。原创 2023-02-20 19:51:27 · 1612 阅读 · 4 评论 -
目标检测论文阅读:DETR算法笔记
我们提出了一种新的方法,将目标检测视为一个直接的集合预测问题。我们的方法简化了检测pipeline,有效地消除了许多手工设计的组件,如非极大值抑制过程或锚框生成,这些组件显式地编码了我们关于任务的先验知识。新框架,称为DEtection TRansformer或DETR,其主要成分是一个基于集合的全局损失,它通过二分图匹配强制进行唯一预测,以及一个transformer编码器-解码器结构。给定一个固定的学习到的目标query小型集合,DETR推理目标和全局图像上下文的关系,并行地直接输出最终的预测集合。原创 2023-02-19 20:02:36 · 763 阅读 · 0 评论 -
目标检测论文阅读:GraphFPN算法笔记
在本文中,我们提出了图特征金字塔网络,它能够调整其拓扑结构以适应不同的内在图像结构,并支持在所有尺度上同时进行特征交互。我们首先为每个输入图像定义一个特定于图像的超像素层次结构来表示其内在的图像结构。图特征金字塔网络的结构继承了这个超像素层次结构。上下文层和层次层旨在实现同一尺度内和不同尺度间的特征交互。contextual层和hierarchical层旨在实现同一尺度内和不同尺度间的特征交互。原创 2023-02-13 19:26:47 · 887 阅读 · 2 评论 -
目标检测论文阅读:GaFPN算法笔记
本文提出了几何感知特征金字塔网络,该网络主要由新颖的几何感知映射模块和几何感知预测头组成。几何感知映射模块是为了充分利用所有的金字塔特征,通过权重生成子网络获得更好的建议特征。权重生成子网络利用建议的几何信息为每一层的建议特征生成融合权重。几何感知预测头通过嵌入的生成网络将几何先验引入预测头,从而加强特征表示,用于分类和回归。我们的GaFPN可以很容易地扩展到其它具有特征金字塔的两阶段目标检测器和用于实例分割任务。在MS COCO数据集上,GaFPN相比于各种基线检测器显著提高了检测性能。原创 2023-02-09 22:14:39 · 413 阅读 · 0 评论 -
目标检测论文阅读:Sparse R-CNN算法笔记
我们提出Sparse R-CNN,一种用于图像目标检测的纯稀疏方法。现有的目标检测工作严重依赖于稠密的目标候选,例如在大小为$H×W$的图像特征图的所有网格上预先定义$k$个锚框。然而,在我们的方法中,一个固定的稀疏学习目标建议集,总长度为$N$,提供给目标识别头执行分类和定位。Sparse R-CNN通过将$HWk$(成千上万)个手工设计的目标候选剔除到$N$(例如100)个可学习的提议,完全避免了所有与目标候选设计和多对一标签分配相关的工作。更重要的是,最终的预测结果是直接输出的,无需进行非极大值抑制。原创 2023-02-07 14:16:54 · 569 阅读 · 1 评论 -
目标检测论文阅读:Libra R-CNN算法笔记
与模型结构相比,对检测器的成功同样至关重要的训练过程在目标检测中受到的关注相对较少。在这项工作中,我们仔细回顾了检测器的常规训练惯例,发现检测性能往往受限于训练过程中的不平衡性,这一般包含三个层次:采样层、特征层和目标层。为了缓解由此带来的不利影响,我们提出了Libra R-CNN,一个用于目标检测的简单有效的平衡学习框架。它集成了三个新颖的组件:IoU平衡采样、平衡特征金字塔和平衡L1损失,分别用于减少采样、特征和目标层的不平衡。得益于整体平衡的设计,Libra R-CNN显著提升了检测性能。原创 2023-02-04 21:55:01 · 630 阅读 · 0 评论 -
目标检测论文阅读:TridentNet算法笔记
尺度变化是目标检测中的关键挑战之一。在这项工作中,我们首先提出一个控制实验来研究感受野对目标检测中尺度变化的影响。基于探究实验的发现,我们提出一种新颖的三叉戟网络(TridentNet),旨在生成具有统一表征能力的特定尺度特征图。我们构建了一个并行的多分支结构,每个分支都共享相同的变换参数,但具有不同的感受野。然后,我们使用一种尺度感知的训练方案,通过在训练时采样适当尺度的目标实例,使每个分支特定化。此外与原始检测器相比,TridentNet的快速近似版本可以在没有任何额外参数和计算成本情况下实现显著提升。原创 2023-01-20 22:42:59 · 482 阅读 · 0 评论 -
目标检测论文阅读:VFNet算法笔记
将大量候选检测准确地进行排序对于稠密目标检测器取得高性能来说是至关重要的。之前的工作使用分类分数,或者分类和预测的定位分数的组合来给候选框排序。然而,这二者都会导致不可靠的排序,使检测性能降低。本文提出学习一个IoU感知分类分数(IoU-Aware Classification Score,IACS)作为目标存在置信度和定位精度的联合表示。我们证明了稠密目标检测器可以基于IACS实现对候选检测更准确的排序。我们设计了一个新的损失函数训练稠密目标检测器来预测IACS,并提出了VFNet。原创 2023-01-19 22:07:52 · 464 阅读 · 1 评论 -
目标检测论文阅读:GFL算法笔记
单阶段检测器基本上是把目标检测分为稠密分类和定位(即边界框回归)两个过程。分类通常用Focal Loss优化,边界框定位一般在Dirac delta分布下学习。单阶段检测器最近的一个趋势是引入一个单独的预测分支来评估定位的质量,预测的质量通过促进分类来提升检测性能。本文深入研究了上述三个基本要素的表示:质量估计、分类和定位。在现有的实践中发现了两个问题:①训练和推理阶段中质量估计和分类的使用不一致;②定位时的Dirac delta分布不够灵活。为了解决这些问题,我们为这些元素设计了新的表示。原创 2023-01-17 22:08:13 · 2555 阅读 · 0 评论 -
目标检测论文阅读:ATSS算法笔记
目标检测多年来一直以anchor-based检测器为主。最近,由于FPN和Focal Loss的提出,anchor-free检测器正在成为热门。本文首先指出anchor-based和anchor-free检测的本质区别在如何定义正负训练样本,这也是导致它们性能差异的原因。如果在训练时采用相同的正负样本定义,它们最终的性能将没有明显的差异,无论从框还是从点进行回归。这说明如何选取正负训练样本对当前的目标检测器来说是十分重要的。原创 2023-01-11 22:00:27 · 503 阅读 · 1 评论 -
目标检测论文阅读:GiraffeDet算法笔记
传统的目标检测框架会沿袭图像识别模型中的backbone来提取深层的潜在特征,然后neck模块会融合这些潜在特征来获取不同尺度的信息。由于目标检测中的分辨率远大于图像识别中的分辨率,backbone的计算成本往往在总的推理成本中占主导地位。这种heavy-backbone的设计范式大多是由图像识别模型向目标检测发展时的历史遗留问题,而不是针对目标检测的端到端优化设计。在本文工作中,我们证明了这种范式确实只能产生次优的目标检测模型。为此,我们提出了一种新的heavy-neck的设计范式,GiraffeDet。原创 2023-01-10 22:07:26 · 1006 阅读 · 0 评论 -
目标检测论文阅读:ObjectBox算法笔记
本文提出了一种新颖的、可以高度泛化的单阶段anchor-free目标检测方法。不同于现有的anchor-based和anchor-free检测器在标签分配上更偏向于特定的目标尺度,我们仅使用目标的中心位置作为正样本,在不同的特征层上平等对待所有目标,而不考虑目标的大小和形状。具体来说,我们的标签分配策略以anchor-free的方式将目标的中心位置视为形状和大小无关的锚点,并允许在每个目标的所有尺度上进行学习。原创 2023-01-09 21:34:06 · 405 阅读 · 0 评论 -
目标检测论文阅读:FCOS算法笔记
本文提出了一种全卷积单阶段目标检测器(FCOS),以逐像素预测的方式解决目标检测问题,类似于语义分割。几乎所有的SOTA目标检测器,如RetinaNet、SSD、YOLOv3和Faster R-CNN,都依赖于预定义的锚框。相比之下,我们提出的FCOS检测器是anchor-free和proposal-free的。通过消除预定义的锚框集合,FCOS完全避免了训练时和锚框有关的复杂的计算,比如计算overlapping。更重要的是,我们还避免了一切与锚框相关的超参数,这些超参数往往对最终的检测效果非常敏感。原创 2023-01-07 20:41:28 · 496 阅读 · 1 评论 -
目标检测论文阅读:YOLOF算法笔记
本文重新审视了单阶段检测器中的特征金字塔网络(FPN),并指出FPN的成功是由于其对目标检测优化问题的分治解决方案,而不是多尺度特征融合。从优化的角度出发,我们引入了一种替代的方法来解决这个问题——只用单层特征实现检测,而不是采用复杂的特征金字塔。基于这种简单高效的解决方案,我们提出了YOLOF。我们的方法提出了两个关键组件:空洞编码(Dilated Encoder)和均衡匹配(Uniform Matching),并且带来了很大提升。在COCO上的大量实验证明了所提出的模型的有效性。原创 2023-01-06 18:38:28 · 366 阅读 · 1 评论 -
目标检测论文阅读:EfficientDet算法笔记
模型效率在计算机视觉中正变得越来越重要。本文系统地研究了用于目标检测的神经网络结构设计选择,并提出了提高效率的几个关键优化点。首先,我们提出了一种加权双向特征融合金字塔网络(BiFPN);其次,我们提出了一种复合缩放方法,可以对所有的主干网络、特征网络和边界框/类别预测网络同时进行分辨率、深度和宽度的统一缩放。基于上述优化和EfficientNet系列的backbone,我们提出了一个新的目标检测器系列,命名为EfficientDet。在不同的资源约束下,它的效率始终比现有的技术更好。原创 2023-01-04 19:44:30 · 337 阅读 · 1 评论 -
目标检测论文阅读:Cascade R-CNN算法笔记
在目标检测中,需要使用IoU阈值来区分正负样本。一个使用低IoU阈值(比如0.5)训练的目标检测器,往往会产生噪声检测结果。但是,增加IoU阈值往往又会导致检测性能下降。这主要是由于两个原因:①在训练过程中,正样本数目呈指数级减少而导致过拟合;②推理过程中,训练检测器时的IoU和预测结果时的IoU不匹配(mismatch,这一点后面会具体解释)。针对这些问题,本文提出了一种多阶段目标检测结构Cascade R-CNN。原创 2023-01-03 16:40:51 · 312 阅读 · 0 评论 -
目标检测论文阅读:Grid R-CNN算法笔记
这篇文章提出了一种非常新颖的、利用网格引导定位机制的目标检测框架,命名为Grid R-CNN。不同于传统的基于回归的方法,Grid R-CNN会使用位置敏感的全卷积结构来捕获空间信息。本文用多个网格点共同监督的方式来减少只用两个点定位(bbox的左上角和右下角)带来的预测误差影响。本文提出了一种两阶段的信息融合方式,将相邻网格点的特征图进行融合来充分利用网格点的相关信息。这种网格引导定位的方法可以很方便地嵌入到不同的主流目标检测模型中。实验证明,Grid R-CNN可以实现高质量的目标定位。原创 2023-01-02 21:07:29 · 502 阅读 · 1 评论 -
目标检测入坑指南4:GoogLeNet神经网络
前面介绍的三个神经网络都是“串联”的,仅仅是卷积层的不断堆叠,结构比较简单。接下来两篇博客要介绍的GoogLeNet和ResNet中开始出现“并联”结构,这也是正式进入目标检测算法前最后要介绍的两个神经网络啦!原创 2021-12-19 00:16:58 · 1990 阅读 · 2 评论 -
目标检测入坑指南3:VGGNet神经网络
学了蛮久的目标检测了,但是有好多细节总是忘或者模棱两可,感觉有必要写博客记录一下学习笔记和一些心得,既可以加深印象又可以方便他人。博客内容集成自各大学习资源,所以图片也就不加水印了,需要自取。本专栏会详细记录本人在研究目标检测过程中的所学所感,主要包括:1.目标检测算法解读,如R-CNN系列、YOLO系列;2.论文阅读笔记;3.其它目标检测相关的概念和技巧,如attention机制的应用。由于水平有限,不少地方可能会有不准确甚至错误,也希望大家多多包涵并指正一下!原创 2021-12-13 00:10:15 · 3493 阅读 · 0 评论 -
目标检测入坑指南2:AlexNet神经网络
学了蛮久的目标检测了,但是有好多细节总是忘或者模棱两可,感觉有必要写博客记录一下学习笔记和一些心得,既可以加深印象又可以方便他人。博客内容集成自各大学习资源,所以图片也就不加水印了,需要自取。本专栏会详细记录本人在研究目标检测过程中的所学所感,主要包括:1.目标检测算法解读,如R-CNN系列、YOLO系列;2.论文阅读笔记;3.其它目标检测相关的概念和技巧,如attention机制的应用。由于水平有限,不少地方可能会有不准确甚至错误,也希望大家多多包涵并指正一下!原创 2021-12-11 23:11:45 · 2434 阅读 · 1 评论 -
目标检测入坑指南1:LeNet神经网络
学了蛮久的目标检测了,但是有好多细节总是忘或者模棱两可,感觉有必要写博客记录一下学习笔记和一些心得,既可以加深印象又可以方便他人。博客内容集成自各大学习资源,所以图片也就不加水印了,需要自取。本专栏会详细记录本人在研究目标检测过程中的所学所感,主要包括:1.目标检测算法解读,如R-CNN系列、YOLO系列;2.论文阅读笔记;3.其它目标检测相关的概念和技巧,如attention机制的应用。由于水平有限,不少地方可能会有不准确甚至错误,也希望大家多多包涵并指正一下!原创 2021-12-11 19:27:10 · 3238 阅读 · 0 评论