qq_52053775的博客

从而影响到最终的性能。YOLOv9尝试使用可编程梯度信息PGI解决这一问题。具体来说， PGI包含三个部分，（1）主干分支（1）辅助可逆分支。（2）多级辅助信息。其核心思想通俗来说。

目前以大名鼎鼎的YOLO为代表的基于CNN的实时监测网络需要NMS进行后处理，导致不能很好的优化网络，并且网络不够健壮，从而导致检测器的推理速度出现延迟。研究者也分析了Anchor-based和Anchor-free的YOLO的性能，发现Anchor并不是影响实时监测的关键要素，而NMS后处理彩色。DETR很好的解决了后处理对于模型的限制，却受限于Transformer巨大的计算量，无法发挥实时监测性。因此，作者想要重构detr,使其具有实时性。

可视化代码：使用：feature_visualization(features, name, stage_id, save_dir=ROOT / "visual")结果示例：可视化代码：使用：feature_visualization(features, name, stage_id, save_dir=ROOT / "visual")结果示例： 优化的可视化代码可视化结果更加清晰参考：GitHub - z1069614715/objectde

通过C3代码可以看出，对于cv1卷积和cv2卷积的通道数是一致的，而cv3的输入通道数是前者的2倍，因为cv3的输入是由主梯度流分支（BottleNeck分支）依旧次梯度流分支（CBS，cv2分支）cat得到的，因此是2倍的通道数，而输出则是一样的。C3模块，其主要是借助CSPNet提取分流的思想，同时结合残差结构的思想，设计了所谓的C3 Block，这里的CSP主分支梯度模块为BottleNeck模块，也就是所谓的残差模块。同时堆叠的个数由参数n来进行控制，也就是说不同规模的模型，n的值是有变化的。

论文地址:代码地址:.

人类的经验可以通过正常的学习（我们称之为外显知识），或者潜意识地（我们称之为内隐知识）来学习。这些通过正常学习或潜意识学到的经验将被编码并存储在大脑中。利用这些丰富的经验作为一个巨大的数据库，人类可以有效地处理数据，即使它们是事先没有看到的。在本文中，作者提出了一个统一的网络，将内隐知识和外显知识一起编码. 统一的网络可以生成一个统一的表示法，同时服务于各种任务。我们可以在卷积神经网络中执行核空间对齐、预测细化和多任务学习。结果表明，

首先，本篇论文提出了一种加权双向特征金字塔网络（BiFPN），进行简单、快速的多尺度特征融合；其次，作者提出了一种复合尺度方法，同时统一调整所有主干、特征网络和box/类别预测网络的分辨率、深度和宽度。基于这些优化和更好的骨干，提出了一个目标检测算法称为det.

最重要的参数配置如下其中，在运行时，需要在project文件夹下新建配置文件，并指定在-p下。其中，mean/std/anchors_scales/anchors_ratios一般不用修改。

半监督学习重在流程，而不在网络细节。

YOLO v7参数与YOLO v5差不多，我就直接将YOLO v5命令行参数搬过来了，偷个懒。

YOLO系列采用了广泛的激活功能，如ReLU [27]、LReLU [25]、Swish [31]、SiLU [4]、Mish [26]等。

论文地址:SSD: Single Shot MultiBox Detector | SpringerLink SSD将不同的高宽比和比例的边界框的输出空间离散为一组默认框。在预测时，网络为每个默认框中每个对象类别的存在生成分数，并对该框进行调整，以更好地匹配对象形状。此外，该网络结合了来自不同分辨率的多个特征地图的预测，以自然地处理不同大小的对象。、SSD完全消除了建议生成和后续的像素或特征重采样阶段，因此，SSD网络结构更简单 二阶段算法速度太慢。通常这些方法的检测速度以每帧秒

论文地址:https://arxiv.org/abs/2207.02696 本文除了架构优化外，还进行了训练过程的优化。提出了一些优化的模块和优化方法，这可以加强训练成本，以提高目标检测的准确性，但不增加推理成本。我们称所提出的模块和优化方法为trainable bag-of-freebies。 近年来，模型重参数化[13,12,29]和动态标签分配[20,17,42]已成为网络训练和目标检测中的重要课题。对于模型再参数化，作者用梯度传播路径的概念分析了适用于不同网络中各层的模型

如图1 (b).所示展现的是，

尽管两级探测器取得了巨大的成功，但单级探测器仍然是一种更加优雅和有效的方法，

迄今为止，精度最高的对象检测器是基于R-CNN推广的两阶段方法，其中分类器应用于候选对象位置的稀疏集。相比之下，应用于可能的物体位置的常规、密集采样的一期探测器具有更快、更简单的潜力，但迄今为止的精度落后于两级探测器的精度。

首先读取图片以及标签路径，并将标签存入缓存，对单标签情况、特定类别、以及是否保持长方形等情况分别进行处理。如果需要进行mosaic 数据增强，首先找到中心点，将图片分别放置于四个位置，进行裁剪或者拼接以适应，并对labels进行调整。同时，对进行过mosaic数据增强过的图像，再进行copy_paste数据增强和旋转、平移、缩放数据增强。同时，还可以进行其他数据增强方式，比如mix up,hsv等。

1.开发了一个高效而强大的目标检测模型。它使每个人都可以使用一个1080 Ti或2080 Ti GPU来训练一个超快和准确的目标探测器。 2.验证了state-of-the-art Bag-of Freebies and Bag-of-Specials对目标检测的影响。 3.修改了最先进的方法，使其更有效，更适合于单一的GPU训练，包括CBN[89]，PAN[49]，SAM[85]等。只增加训练成本，但是能显著提高精度，并不影响推理速度数据增强：调整亮度、对比度、色调、随机缩放、剪切、翻转、

大量的特征据说可以提高卷积神经网络(CNN)的精度。需要在大数据集上对这些特征的组合进行实际测试，并对结果进行理论证明。有些特性只适用于某些模型，只适用于某些问题，或仅适用于小规模数据集；而一些特性，如批处理标准化和残差连接，适用于大多数模型、任务和数据集。我们假设这些普遍特征包括加权残差连接(WRC)、跨阶段部分连接(CSP)、交叉小批归一化(CmBN)、自我对抗训练(SAT)和Mish激活。我们使用新功能：WRC，CSP，CmBN，SAT，Mish激活，Mosaic数据增强、CmBN，DropBlock

对于输入的特征图，首先reshape成[图片数，网格h，网格w，一个网格锚框数，类别数+4（x,y,w,h)+1（是否存在物体)]大小，取出x,y,w,h,pred_conf,pred_cls,根据论文，对x,y,pred_conf,pred_cl输入sigmoid函数，得到最终的预测的结果，此时得到的是物体在特征图网格的存在物体的置信度，类别置信度、和相对于网格的相对位置，将相对位置转为特征图的绝对位置，并进一步得到真实位置，输出结果。......

pycocotools下有三个模块：coco、cocoeval、mask、_mask。

RLE所占字节的大小和边界上的像素数量是正相关的。其中size是这幅图片的宽高，然后在这幅图像中，每一个像素点要么在被分割（标注）的目标区域中，要么在背景中。每个对象（不管是iscrowd=0还是iscrowd=1）都会有一个矩形框bbox ，矩形框左上角的坐标和矩形框的长宽会以数组的形式提供，数组第一个元素就是左上角的横坐标值。最后，annotation结构中的categories字段存储的是当前对象所属的category的id，以及所属的supercategory的name。计算mask的bbox。..

空洞卷积有如下两个作用。

YOLO第三版并没有特别突出的创新之处，主要是基于YOLO第二版进行了一些改进。

我们向YOLO提供了一些更新！我们在设计上做了一些小的改变，让它做得更好。我们还训练了这个非常棒的新网络。比上次大一点，但更准确。不过，但速度还是很快，不用担心。在输入大小为320×320时，YOLOv3运行时间为22ms，达到了28.2mAP，与SSD同样准确，但快三倍。当我们看旧的。0.5IOUmAP检测度量YOLOv3是相当好的。它在TitanX上以51ms达到57.9AP50，而在198ms上达到57.5AP50，性能类似，但速度快3.8×。和往常一样，所有的代码都在网上https//pjr。...

YOLO第二版在训练时使用的是批次归一化(BatchNormalization)方法，能够更好地增加模型的泛化能力，在PASCOVOC数据集上，不改变网络结构的前提下，mAP有了2%的提升。另外，使用了批量归一化方法之后，可以去掉YOLO第一版使用的dropout方法。...

我们介绍了YOLO9000，一个最先进的，实时的目标检测系统，可以检测超过9000个目标类别。首先，

训练模型时，仍然采用基于ImageNet分类数据集进行预训练的方式。取上述网络的前20个卷积层，后面接一个全连接层训练分类模型。在这个过程中，用于分类模型训练的图像尺度为224×224。

我们提出了一种新的目标检测方法YOLO。先前在目标检测方面的工作是重新利用分类器来执行检测。相反，我们将目标检测框架为一个回归问题，以确定空间分离的边界框和相关的类概率。一个单一的神经网络在一次评估中直接从完整的图像中预测边界框和类的概率。由于整个检测管道是一个单一的网络，因此可以根据检测性能直接进行端到端优化。......

Mask-RCNN使用ResNet101有两个基本的块，ConvBlock的结构如下IdentityBlock的结构如下这两个都是残差网络结构。这两个都是残差网络结构。以官方使用的coco数据集输入的shape为例，输入的shape为1024x1024，shape变化如下我们取出长宽压缩了两次、三次、四次、五次的结果来进行特征金字塔结构的构造。............

查看yolov5的配置文件coco.yaml和coco128.yaml，yolov5数据集可以有两种形式，download部分完全没用，不要复制另一种就是将训练集、测试集、验证集图片路径直接写入txt文件中，复制coco.yaml，路径修改为自己的txt文件、种类数量、名称都要改为自己的数据。...

MaskR-CNN是对FasterR-CNN的直观扩展，网络的主干有RPN转换为主干网络为ResNet的添加了一个分支用于预测每个感兴趣区域(RoI)上的分割掩模，与现有的用于分类和边界盒回归的分支并行（图1）。

我们提出了一个概念上简单、灵活和通用的对象实例分割框架。

特征金字塔(Feature Pyramid Networks， FPN)的基本思想是通过构造一系列不同尺度的图像或特征图进行模型训练和测试，目的是提升检测算法对于不同尺寸检测目标的鲁棒性。但如果直接根据原始的定义进行FPN计算，会带来大额的计算开销。为了降低计算量，FPN采用一种多尺度特征融合的方法，能够在不大幅度增加计算量的前提下，显著提升特征表达的尺度鲁棒性。 在实际场景中，同一个目标物体，会因为拍摄距离不同，呈现出不同的尺度。识别不同尺度的目标，是计算机视觉中一个重要问题。一个常规的解

特征金字塔是识别系统中检测不同尺度物体的基本组成部分。但最近的深度学习对象探测器已经避免了金字塔表示，部分原因是它们是计算和内存密集型的。本文利用深度卷积网络固有的多尺度金字塔层次，构造了具有边际额外代价的特征金字塔。开发了一种具有横向连接的上顶体系结构，用于构建所有尺度上的高级语义特征图。这种架构被称为特征金字塔网络(FPN)，作为一个通用的特征提取器，在几个应用程序中显示出了显著的改进。在基本Faster R-CNN系统中使用FPN，我们的方法在COCO检测基准上实现了最先进的单模型结果，超过了所有现有

Fast R-CNN算法相对于R-CNN有了很大的改进：一方面，一张图像上的各个候选框共享特征；另一方面，类别预测和位置回归在一个前向推理阶段完成。这两点使得检测算法的速度有了显著提升。但是，候选框的生成和后面的前向推理还是两个独立的处理过程，两个过程的衔接成了制约检测流程的瓶颈。本节介绍的Faster R-CNN方法正是针对这一瓶颈进行了改进，使得整个目标检测过程构成一个端到端的完整流程。 基于候选框的算法，比如Selective Search等，都基于CPU进行计算，无法利用GPU的高并

卷积网络是一种能够产生特征层次结构的功能强大的视觉模型。我们表明，卷积网络本身，训练端到端，像素到像素，超过了最先进的语义分割。我们的关键见解是建立“fully convolutional”网络，该网络接受任意大小的输入，并通过有效的推理和学习产生相应大小的输出。我们定义并详细描述了全卷积网络的空间，解释了它们在空间密集的预测任务中的应用，并与之前的模型建立了联系。我们将当代分类网络(AlexNet[19]，VGGnet[31]和GoogLeNet[32])调整为完全卷积网络，并通过微调[4]将其学习到的表

当一张图片传入到faster-rcnn时，他会被resize到600*800大小,然后将这张图片传入到主干特征提取网络，得到38*50网格的特征图 ，每个网格包含若干个先验框，利用RPN建议网络可以获得先验框的调整参数以及这些先验框是否包含物体，此时我们就得到了建议框，利用这些建议框在特征层上进行截取，截取的特征图进入到ROI pooling层调整到相同大小，然后利用分类与回归预测建议框中是否包含目标，同时对建议框进行调整。整体来说，网络运行包含两步，一步是粗略的筛选，一步是精细的调整。 首

Abstract：最先进的目标检测网络依赖于区域建议算法来假设目标的位置。像SPPnet[1]和FastR-CNN[2]这样的进步减少了这些检测网络的运行时间，暴露了区域建议框计算的瓶颈。在这项工作中，我们引入了一个区域建议网络(RPN)，它与检测网络共享全图像卷积特征，从而实现了几乎免费的区域建议。RPN是一个完全卷积的网络，它可以同时预测每个位置的目标边界和目标性得分。RPN被端到端训练，以生成高质量的区域建议，并被FastR-CNN用于检测。通过共享它们的卷积特征，我们进一步将RPN和FastR-CN

FastR-CNN算法及训练过程R-CNN显著提升了目标检测算法的性能，但因为计算过于复杂，耗时很长，所以在实际的应用系统中，大都无法使用。经过分析可知，R-CNN的复杂性主要来自两个方面：一是需要针对大量的候选框分别进行计算；二是特征提取之后的分类器训练和位置回归，是几个独立步骤分别进行的。在训练过程中，提取的特征要先存储在硬盘上，然后训练SVM分类模型，最后训练位置回归模型，而测试过程也是类似的，特征提取之后，需要先进行SVM分类，再回归目标的准确位置，整个过程在计算时间和存储...