呆呆的猫的博客

海量的有标记的训练数据，也就是李飞飞团队提供的大规模有标记的数据集ImageNet计算机硬件的支持，尤其是GPU的出现，为复杂的计算提供了强大的支持算法的改进，包括网络结构加深、数据增强（数据扩充）、ReLU、Dropout等AlexNet之后，深度学习便一发不可收拾，分类准确率每年都被刷榜，下图展示了模型的变化情况，随着模型的变深，Top-5的错误率也越来越低，目前已经降低到了3.5%左右，同样的ImageNet数据集，人眼的辨识错误率大概为5.1%，也就是深度学习的识别能力已经超过了人类。

将目标检测中的定位和分类头结合起来一直是一个引人关注的问题，之前的工作尝试了很多方法，但是一直没有得来一个一致的形式。所以，如何提升目标检测头的性能也是一个长久的问题。

本文主要介绍如何使用 MMYOLO 进行模型训练

本文详细介绍目标检测、语义分割、图像分类中的各类损失函数和评价指标

本文主要介绍目标检测中的正负样本分配策略

Label Assignment 的目标是给每个 anchor 分配其 loss weight 的正或负，现有的方法一般都主要设计正样本的权重函数，负样本的权重直接从正样本来获取。这种方法缺少了一些可学习的能力。

本文详细地介绍了目标检测任务中，不同模块及其相关的典型优化方法

本文主要介绍 YOLOv8

主要基于 lead head 的预测和 gt 来计算，并通过优化过程来生成 soft label，该 soft label 同时充当两个 head 的学习目标，这样做的原因在于， lead head 的学习能力更强一些，其输出更能表达特征，让中间特征以 lead head 的输出作为学习目标还有一个好处，就是 lead head 能够只学习 auxiliary head 没有学习到的特征。然而，如果将这些方法应用到级联结构中，当对深度进行放大或缩小缩放时，宽度也会被改变，如图3 (a)和(b)所示。

YOLOv6 的早期版本其实是使用的 SimOTA 的，那个时候论文还没有放出来，只有 github 代码。YOLOv6 主要是为了工业使用而产生的一项研究，融合了目前最无论是工业界还是学术界的很多先进的目标检测优质设计，包括训练策略、测试策略、量化和参数优化方法等，以便于适用不同场合和不同尺度，也便于部署的网络。为了解决训练和推理的量化不一致问题，上面已经建立了 QAT，此外，也对同一个网络进行了自蒸馏，FP32 精度的作为教师网络，INT8 精度的作为学生网络，在教师和学生网络上进行了通道蒸馏。

基于上述讨论，提出了 panoptic driving perception network（YOLOP）， 是一个支持多任务学习的全景感知网络，能够同时支持目标检测、可通行区域识别、车道线检测任务。还有一个隐藏的信息：全景驾驶系统虽然有多个任务，但这些任务面对的对象都是有一定的关联的。2、Neck：SPP + FPN，SPP 生成并结合各个不同尺度的特征，FPN 结合各个不同语义尺度的特征，让组合后的特征包含多尺度和多语义层级的信息。训练，验证，测试 分别为 70k，10k，20k。

ViT 作为首个在视觉领域超越 CNN 的 Transformer 模型，能够通过提取全局信息来构建长距离的依赖模型，但其是从分类的角度出发，且缺失了层级特征，所以难以判定原始 ViT 能否将 pre-trained 的大数据集的 image-level 的特征传递到下游的目标检测任务。Fine-tuning 时，COCO 的图像是远远大于预训练的图的，不改变 patch size（还保持 16x16），就会产生一个很大的序列，作者使用位置坐标差值法来适应不同的大小。7、和 DETR 的对比。

为了和 YOLOv3 的分配策略一致，如果只给每个目标选择一个正样本（中心点处），忽略其他的高质量预测结果，而这些高质量的预测结果也会给梯度带来益处，缓解政府样本的严重不平衡问题，所以，YOLOX 选择中心的 3x3 位置的样本为正样本，提升到了 45%。随着 YOLO 系列的发展，很大程度上推进了检测器在准确率和效率上的平衡，当时最优的应该是 YOLOv5，在 COCO 上 48.2% AP，耗时 13.7ms。检测任务中的分类和回归头的互相影响会给网络结果带来不好的硬，所以需要对两个头进行解耦。

大尺度的真值导致产生了很多大尺度的 anchor，而小尺度的真值产生的 anchor 很少，也就是导致大小 anchor 数量不均衡，如图 6 所示，这会间接导致模型更关注大尺度的物体，忽略小尺度的物体。为了解决上述大小样本数量不均衡的问题，作者提出了 Uniform matching，对每个真实框，使用 k 近邻的 anchor 来作为正样本，这样能够使得每个真实框，都能够和相同数量的 anchor 进行匹配，而不关注 anchor 的尺寸，可以平衡不同大小的 anchor 数量。

YOLOv4（Darknet架构）的权重文件为244MB。YOLOv5比YOLOv4小近90％。这意味着YOLOv5可以更轻松地部署到嵌入式设备。YOLOv5 还可以轻松地编译为 ONNX 和 CoreML，因此这也使得部署到移动设备的过程更加简单。此外，因为YOLOv5 是在 PyTorch 中实现的，所以它受益于已建立的 PyTorch 生态系统。YOLOv5 是基于 YOLOv3 改进而来，体积小，YOLOv5 s的权重文件为27MB。出处：ultralytics 公司。时间：2020.05。

所以 CSPDarknet stage 在 k>1 的时候的计算量是优于 Darknet 的，CSPDarknet53 的每个 stage 的残差层分别为 1-2-8-8-4，为了得到更好的 speed/accuracy trade-off，将 CSP 的第一个 stage 转换成原始的 Darknet 残差层。YOLOv4-large 是为云端 GPU 设计的，为了实现高精度，设计了完整的 YOLOv4-P5，然后缩放得到 YOLOv4-P6 和 YOLOv4-P7，如图 4 所示。

Bag of Freebies：指的是那些不增加模型复杂度，也不增加推理的计算量的训练方法技巧，来提高模型的准确度。Bag-of-Specials：指的是那些增加少许模型复杂度或计算量的训练技巧，但可以显著提高模型的准确度。作者：AlexeyAB。时间：2020.08。

由于 YOLO 系列对小目标的检测效果一直不太好，所以 YOLOv3 主要是网络结构的改进，使其更适合小目标检测；YOLOv3 在 3 个尺度上进行框的预测，最后输出三个信息：bbox、objectness、class。在 YOLOv2 中使用的是 Darknet-19，YOLOv3 使用 Darknet-53。作者使用 logistic classifier，使用二值交叉熵损失来进行分类训练。作者：Joseph Redmon。时间：2018.08。3、根据尺度进行预测。

YOLOv2 是当时 SOTA 的又快又好的方法，可以使用不同大小的输入图像，并达到效果和速度的平衡。YOLO9000 是实时检测框架，通过使用 WordTree 来将不同源的数据联合起来，能够弥补不同数据集的 gap。

对于留下的框，再根据分类概率得到它们的类别，这里注意得到的框的大小都是相对于原图大小的，都是 0~1 之间的值，所以输出的时候还需要还原，才能得到真实的bbox的尺寸大小。YOLOv1 是 Joseph Redmon 提出来的，后面他又提出了改进版本 v2 和 v3，此外后续的其他 YOLO 方法都不是该作者的工作，而是其他人接力的。首先，将这 98 个 bbox 中置信度低的框去掉，然后再根据置信度对剩下的bbox排序，使用 NMS 算法，把重复度高的框的置信度设为 0。时间：2016.05。

文章目录Abstract1、Introduction2、 Problem Setting3、Detection Components3.1 Detection Settings3.2 Detection Paradigms3.2.1 Two-stage Detectors3.2.2 One-stage Detectors3.3 Backbone3.3.1 Basic Architecture o...

论文地址：https://arxiv.org/pdf/2003.07540.pdf文章目录Abstract1. Introduction2、Methods2.1 TSD2.2 Task-aware spatial disentanglement learning2.3 Progressive constraint2.4 Discussion in context of related works...

文章目录Abstract1、Introduction2、Related workAnchor-based approachAnchor-free Approach3、CentripetalNet3.1 Centripetal Shift Module3.1Centripetal shift module3.1.1 Centripetal shift3.1.2 Corner Matching3.2 ...

如前所述，神经网络是 data-hungry 的，但人工标注费时费力，且之前的 cutmix、mosaic 等方法，难以适用于实例分割，Copy-paste 能够使用简单的方法，将实例扣下来并粘贴到别的图像上，很方便的解决了实例分割（也可用于有实力分割标签的目标检测）的数据增强问题。现在的深层网络之所以能够取得很好的效果，一个很重要的原因在于其参数量巨大，能够很好的学习到复杂的特征表达，但这也同样容易导致过拟合，影响模型的对不同场景的泛化能力。一些常用的数据增强方法介绍如下。处理后的图像是什么样子的？

如图 4a 所示，随着训练进行，positive 和 negative 样本的区别越来越明显，positive anchor 不是一定比 negative anchor 的 IoU 大，很多 negative anchor 在训练到 30k~50k 时，仍然有高 IoU，那些固定数量的 positive sample 方法，会把这些负样本误分为正样本，随着训练进行，positive anchor 的定位准确率会逐渐增大。本文的方法在每个训练过程，都选择了不同的数量，更有适应性。

训练早期，由于所有参数都是随机初始化而来，所以所有 anchor 的置信度都比较低，而得分较高的 anchor 越有利于模型的训练，所以，作者使用了 Mean-max 函数，来选择 anchor。Anchor-based 方法的 label assignment，一般使用 IoU 来实现，大于某个阈值的 anchor 为正样本，小于某个阈值的 anchor 为负样本，每个 anchor 的 assignment 是独立的，但手工选取的参数肯定不是最优的。在训练过程中，似然估计也就变成了 loss 函数。

作者认为，独立的给每个 gt 分配 pos/neg 不是最优的方法，缺失了上下文信息，当处理那些模棱两可的 anchor 时（如图 1 中的红色点，一个点处于多个 gt 中），上面的方法是靠手工的特征来选定属于哪个 gt 的（如 max-IoU、min-Area 等）在目标检测的上下文中，假设有 m 个 gt，n 个 anchor，把 gt 看做 positive labels 的供货商，供应 label，anchor 看做需求方，需要 label。...

CARL 通过在回归 loss 中引入分类得分的方法，将分类得分和回归分支联合起来，回归质量低的样本的分类得分会被抑制，回归质量高的样本的分类得分会被增强，如图 8 所示，相比 FPN，CARL 能够增强 high IoU 样本的分类得分，抑制 low IoU 样本的分类得分。对于一个分类器，期望的是其能够对重要的样本输出更高的得分，而回归器的输出又决定了一个样本是不是重要，所以，分类和回归是有一定的联系在里边的。然后，使用如公式 2 所示的一个单调递增的函数，来将 importance。.........

如图 4 展示了 RetinaNet+FSAF 的结构，RetinaNet 的 backbone 和其他尺度的层被折叠了，只展示了使用的三层，每层后面都分别使用了 cls 和 reg 子网络。推理阶段：在每个 level 中选择前 1k 个框，保留大于 0.05 的框，和 anchor-based 得到的结果混合起来，使用阈值为 0.5 的 NMS 过滤，即为最终结果。如图 7 所示，说明了 FSAF 模块能够更好的处理有挑战的实力，比如很细或者不能被很好的包裹的目标。......

在训练前期，数据的先验分布是 label assignment 的基础，也就是目标的分布是 center prior 的（即距离中心点越近的位置，越有可能是正样本点），但是，比如长颈鹿和人的分布不同，所以不同的类别应该有不同的先验分布，如果只在中心的位置来采样，则可能无法捕捉到最具有区分特征的特征。其他 label assignment 的方法对不同的数据集的提升可能不太稳定，但 AutoAssign 可以根据不同的数据来动态调整，无需额外的手动调节和参数设置，就能达到约 1% 的提升。..........

NMS 及其变体在边缘检测、关键点检测和目标检测等视觉任务上都有广泛的使用。主要用于剔除和极大值重叠率过大的检测结果。2.4 不足1、稠密场景会出现漏检：因为稠密场景的目标本身重合就比较大，会把置信度较小但为真实目标的框筛掉2、实际效果容易被阈值影响：NMS 的阈值是人为设定的，阈值过大会出现误删，阈值过小会出现误检，对 mAP 有很大影响。3、分类得分和 IoU 的割裂使用，盲目认为得分最大的框的定位也是最准确的，忽略了得分低的框的定位也可能是准确的论文：Soft-NMS：Impr

norm loss，其二是 IoU loss。IoU-based loss 从 IoU 到 GIoU，再到 DIoU 和 CIoU，在逐步改进，但形式过多，太过繁杂，每种形式都有其各自的优缺点。有了上面的形式后，作者对不同的 IoU-based 方法做了如下形式的统一，其实这些 IoU-based loss 都可以看做是。可视化了在 PASCAL 上使用不同 IoU loss 得到的框和真实框的 IoU 分布，经过了阈值为 0.5 的 NMS。的关系，图 1 右侧展示了 IoU 和梯度模值的关系。.....

Rectified IoU (RIoU) loss 的特点：在使用 RIoU 训练时，大量简单样本（IoU 大）的梯度会被增大，让网络更关注这些样本，而少量的难样本（IoU 小）的梯度会被抑制。low IoU 样本的数量大于 high IoU 样本的数量，也就是说，在训练过程中，low IoU 样本掌握着梯度，让网络更偏向于难样本的回归。在检测任务重，IoU 经常被用来选择预选框，但这种直接的做法也忽略了样本分布的不均衡的特点，这会影响定位 loss 的梯度，从而影响最终的效果。......

在框回归问题中，高质量的 anchor 总是比低质量的 anchor 少很多，这也对训练过程有害无利。的增大，outliers 样本的梯度模值会被很大程度的抑制，高质量样本的梯度模值会降低，这并非期望的结果。为了让 EIoU Loss 更关注高质量样本，可以使用 EIoU loss 来代替上面公式中的 x。如图 4b 所示，Focal L1 Loss 可以提高 inliers 的梯度值，并根据。满足 1 和 2 条件的函数如图 5a 所示，当添加了一个超参数。时，如图 5b 所示，随着。..........

虽然 GIoU 可以通过移除未相交的框来缓解提的消失的情况，但如图 1 所示，GIoU loss 首先会提升预测框的大小，使得其和 gt 框有相交，然后公式 3 就能够用来最小化相交面积。所以 GIoU loss 会产生一些不准确的检测。作者为了更加全面的分析距离、尺度、纵横比在 bbox 之间的关系，选取了 7 种不同纵横比的 unit box（即面积为 1），纵横比分别为（1:4, 1:3, 1:2, 1:1, 2:1, 3:1, 4:1），这 7 个 box 的中心点都在（10,10）。.......

文章目录摘要引言摘要Intersection over Union（IoU）是目标检测领域应用最多的度量方式。优化b-box的参数的回归过程所使用的损失函数和最大化度量值之间存在一定的鸿沟二维轴心对齐的b-box情况，IoU可以直接作为回归损失但是，IoU无法优化不重叠的b-box情况本文通过引入一个更一般化的度量方式来作为新的loss和新的度量本文通过将提出的 generalize........................

Loss，如 L1、Smooth L1、L2 等，它们通常都是计算角点的距离来衡量 Loss 的大小，指导模型的训练。在目标检测任务中，回归任务很多都使用。出处：ACM MM 2016。本文提出了 IoU loss。

文章目录一、背景二、动机三、方法3.1 Backbone3.2 Learnable proposal box3.3 Learnable proposal feature3.4 Dynamic instance interactive head3.5 Set prediction loss四、效果一、背景目前的目标检测方法很大程度上依赖于密集的候选框，如在特征图 H×WH \times WH×W 上的每个 grid 预设 kkk 个 anchors，且取得了较好的效果。但这些方法有以下问题：这

文章目录一、背景二、动机三、方法3.1 IACS——IoU-Aware Classification Score3.2 Varifocal loss3.3 Star-Shaped Box Feature Representation4.4 Bounding-box refinement4.5 VarifocalNet四、效果五、代码5.1 修改数据集路径5.2 VFNet代码已开源：https://github.com/hyz-xmaster/VarifocalNet一、背景现有的目标检测器中，大多

GFLV2 非常轻量级，可以嵌入很多检测器中，提高约 2AP，带来的额外计算很少GFLV2 (Res2Net-101-DCN) 在 COCO 上获得了 53.3 AP通过可视化，可以看出在 NMS 过程中能起到很好的作用，能够更好的保留位置更准的框.........