MMdet 网络集简介

mmdet网络简介：

一、模块化设计
我们将检测框架分解成不同的组件，通过组合不同的模块，可以很容易地构建自定义的对象检测框架。

二、支持多个框架开箱即用
工具箱直接支持流行的和当代的检测框架，例如:Faster-RCNN，Mask-RCNN, RetinaNet等。

三、 效率高
所有基本的bbox和掩码操作都运行在gpu上，训练速度比更快。

四、基准模型
支持的6个主流backbone:

• ResNet
• ResNeXt
• VGG
• HRNet
• RegNet
• Res2Net

支持的方法:
以下全部为目标检测模型，其各自特点简介如下：

• [Fast R-CNN]：在RCNN基础上引入ROI pooling算法。Fast RCNN将RCNN众多步骤整合在一起，不仅大大提高了检测速度，也提高了检测准确率。

• [Faster R-CNN]：该算法在fast rcnn基础上提出了RPN候选框生成算法，使得目标检测速度大大提高。

• [Mask R-CNN]：在 Faster R-CNN基础上引入ROI-aliment算法，使得综合性能有较大提高，在检测速度方面尤为明显。

• [Cascade R-CNN]： 采用了Cascade的骨架模型，使算法更高效，提高了检测质量，获得更精确的检测结果。几乎对于任意的R-CNN（Faster rcnn，FPN，R-FCN等）都可以带来2到4个点的AP提升！

• [Cascade Mask R-CNN]：融合了 Mask R-CNN、 Cascade R-CNN的思路，形成的新的方法。解决了在目标检测中，检测框不是特别准，容易出现噪声干扰的问题。

• [SSD]：SSD算法是一种直接预测目标类别和bounding box的多目标检测算法。因为正样本与负样本（背景）极其不均衡，导致模型准确度稍低。

• 【RetinaNet]: 采用focal-loss的方法，精确回归正负样本，提高了检测质量，获得更精确的正负样本检测结果。

• [GHM]：focal-loss过多关注 难分样本 会引发一些问题，比如样本中的离群点，已经收敛的模型可能会因为这些离群点还是被判别错误，总而言之，不应该过多关注易分样本，但也不应该过多关注难分样本； α 与 γ 的取值全从实验得出，且两者要联合一起实验，因为它们的取值会相互影响。采用梯度归一化方法解决类别不平衡问题；

• [Mask Scoring R-CNN]：第一个解决实例分割假设评分问题的框架；在COCO的基准测试中，大量的结果显示Mask对R-CNN的评分一致且明显优于Mask R-CNN。它还可以应用于其他实例分割网络中，获得更可靠的Mask分数。我们希望我们的简单有效的方法可以作为一个基准，并帮助未来的实例分割任务的研究。提高了检测质量，获得更精确的检测结果。

• [Double-Head R-CNN]：采用了两个head的网络模型；全连接对于空间位置是敏感的，而卷积对于物体信息的提取效果更好，所以在物体检测任务中只使用全连接或者只使用卷积得到的效果还不够好。Double-Head R-CNN 就是研究使用卷积和全连接一起使用来做物体检测提高效果的研究。提高了检测质量，获得更精确的检测结果。

• [Hybrid Task Cascade]：采用了 Hybrid Task Cascade的骨架网络，使模型更高效，设计强度 - 任务之间和跨阶段的信息流 ，导致每个阶段的更好的细化和对所有任务的更准确的预测。

• [Libra R-CNN]：提出IoU-balanced Sampling让选择的样本更 有代表性，balanced feature pyramid 更加有效地整合利用多尺度特征，获得更精确的检测结果。

• [Guided Anchoring]：采用了Guided Anchor来生成和回归anchor，对主流的检测框架都有促进作用。

• [RepPoints]：预测的一系列reppoints，然后通过把这些点映射为box得到最终的结果，这个网络的GFLOPS甚至比Retianet更高效。附加的第二阶段只是增加了两个卷积层，引起的额外计算量非常非常小。

• [Foveabox]：FoveaBox改变了大多数目标检测模型都要使用的anchor box的现状，大大降低了模型复杂度、减少了模型输出。

• [FreeAnchor]：本文的思想就是通过修改loss函数去除人工参与指定anchor的过程，使网络能够自主学习选择哪个anchor和真实object 进行匹配，降低了模型复杂度，获得更精确的检测结果。

• [NAS-FPN]：采用神经网络结构搜索，发现了一种新的特征金字塔结构，网络的backbone是不变的，还是采用RetinaNet，在此基础上设计了额外的NAS方法对RetinaNet提取的特征图进行组合和更新，以获得更好的检测精度。

• [ATSS]：主要是通过对目标检测中的正样本的重新定义，通过重新定义的正样本来训练模型，最终使得模型能更好的学习到主要的特征。所以无需对模型本身做任何的修改，也无需对训练过程进行任何修改，只需调整输入到模型中的样本。

• [FSAF]：采用多损失方案来回归模型，可以看做是anchor-free系列的尝试，它并没有完全摒弃anchor，而是选择anchor-free分支作为特征层选择的工具，帮助每个实例动态选择最佳特征层，当选择好之后，还是需要用基于anchor的方法进行后续的分类和位置回归。FSAF模块，是对anchor-free方法的很好实践。

• [PAFPN]：改进的FPN、改进之前的pool策略、改进mask分支，使得综合性能有较大提高。

• [Dynamic R-CNN]：解决在训练过程中正负样本的分配策略以及回归损失函数形式不能随着样本总体特征的变化而变化的问题。

• [PointRend]：针对物体边缘的图像分割进行优化，使其在难以分割的物体边缘部分有更好的表现。

• [CARAFE]：轻量级通用上采样算子，使得检测速度方面尤为明显。

• [DCNv2]：扩展可变形卷积，增强建模能力；提出了特征模拟方案指导网络培训：feature mimicking scheme。

• [Group Normalization]：Group Normalization（GN）是针对Batch Normalization（BN）在batch size较小时错误率较高而提出的改进算法，因为BN层的计算结果依赖当前batch的数据，当batch size较小时（比如2、4这样），该batch数据的均值和方差的代表性较差，因此对最后的结果影响也较大，使得综合性能有较大提高。

• [Weight Standardization]：一种在小的batchsize下能够像BN在大的batchsize一样使得loss的平滑，消除了滤波器在偏置和尺度上的自由度，使得训练收敛得更好。

• [OHEM]：解决简单样本与难分辨样本之间的类别不平衡是亟需解决的问题，自动地选择难分辨样本来进行训练不仅效率高而且性能好。

• [Soft-NMS]：引入 Soft-NMS的方法来计算NMS，使得NMS性能有较大提高。

• [Generalized Attention]：一种attention机制的算法。

• [GCNet]：对于一副图片，不同的query positions 通过 non-local结构获得的全局上下文信息几乎一样。因此作者“质疑”这样“费力”（复杂的网络结构、计算量、参数量）的获得query-specific的全局上下文信息意义不大。因此提出了一个query-independent的Simpled NL(snl)结构。

• [Mixed Precision (FP16) Training]：提出一种混合精度训练的方法，减少所需的内存使用量，缩短训练和推理时间。

• [InstaBoost]：实例分割，为了丰富训练数据和输入特征的方法， 使输入特征多样化，增强模型泛化能力。

• [DetectoRS]：提出一种Switchable Atrous Convolution (SAC)的卷积方法；提高feature representation方式提升检测和实例分割的性能。

• [Generalized Focal Loss]：改进focal loss算法；主要解决目前存在的两个问题：1. 在训练和推理的时候，分类和质量估计的不一致性；2. 狄拉克分布针对复杂场景下（模糊和不确定性边界）存在不灵活的问题。为了解决这个问题，设计新的“表示”方法：1. 通过联合质量估计和分类设计新的loss；2. 定义一种新的边界框表示方式来进行回归。提出的Generalized Focal Loss (GFL)在COCO数据集上使用resnet101的backbone能达到45.0%的AP值，超越了同年提出的SAPD（43.5%）和ATSS（43.6%）

• [CornerNet]：采用anchor-free并以四个角点作为参数的方法来回归模型； 1、将目标检测问题当作关键点检测问题来解决，也就是通过检测目标框的左上角和右下角两个关键点得到预测框，因此CornerNet算法中没有anchor的概念，这种做法在目标检测领域是比较创新的而且能够取得不错效果是很难的。2、整个检测网络的训练是从头开始的，并不基于预训练的分类模型，这使得用户能够自由设计特征提取网络，不用受预训练模型的限制。

【完结】