（CVPR小目标检测笔记）QueryDet一种新的查询机制

引言🎈

小目标检测最常见的方法是高分辨率图像或特征图，但是计算成本高。作者提出了QueryDet（一种查询机制，而非框架），使用了新的查询机制来加速特征金字塔的对象检测器的推理速度和减少计算量、提高准确性，并且在多个数据集上（COCO、PASCAl VOC、VisDrone、CityPersons）进行了测试。
小目标检测效果不好的原因：

1. 由于卷积神经网络（CNN）主干中的下采样操作，突出小物体的特征被抹除；因此小物体的特征经常被背景中的噪声污染；
2. 低分辨率特征的感受野可能与中指出的小物体的大小不匹配
3. 定位小物体比大物体更难，因为边界框的微小扰动可能会导致 Intersection over Union (IoU) 指标的显着干扰。

QueryDet流程

1. 输入一张高分辨率图像，将其通过特征提取网络得到特征图。
2. 在特征图上使用Cascade Sparse Query (CSQ)机制，选择性地查询位置，得到一个稀疏的高分辨率特征图。
3. 将稀疏的高分辨率特征图输入到检测头（Detection Head）中，进行目标检测。
4. 输出检测结果，包括目标类别、位置和置信度等信息。

在这个流程中，QueryDet的核心是CSQ机制，它可以在高分辨率特征图上选择性地查询位置，从而减少计算量，提高检测准确性和推理速度。同时，QueryDet还使用了一些其他的技术，如多尺度特征融合和强化学习等，以进一步提高检测性能。

QueryDet在高分辨率特征中实现了高效的小目标检测。在低分辨率特征中首先预测可能存在小对象的位置（查询键），并使用这些位置的高分辨率特征构建稀疏特征图（查询值）。最后，使用稀疏检测头输出检测到的框。该范式以级联方式应用，从而实现快速准确的小目标检测。

图像被输入到主干网络和特征金字塔网络（FP）中，以产生一系列不同分辨率的特征图。从查询起始层（该图像中的 P5）开始，每一层都从前一层接收一组关键位置，并应用查询操作来生成稀疏值特征图。然后稀疏检测头和稀疏查询头预测下一层相应尺度和关键位置的检测到的框。

QueryDet是如何利用高分辨图像的

通过一种Cascade Sparse Query (CSQ) 的机制。CSQ机制包括两个关键步骤：
1、Query Head： QH会对高分辨率图像处理，以提取小物体的相关信息。可以看作是一种查询操作，在高分辨率图中找到小目标的粗略位置。
2、Detection Head： DH利用QH提取的信息，对整个金字塔进行稀疏查询，只对小物体相关的位置进行检测。可以看作是一种过滤操作，因为会过滤掉与小物体无关的位置信息，从而减少计算量。

• 稀疏查询：只对特定的关键信息或属性进行搜索，过滤一些不重要或不相关的信息。

实验是怎么做的

在多个数据集上进行实验室，包括COCO、PASCAL VOC、VisDrone和CityPersons等。实验中，作者使用了不同的检测器作为基线模型，并将QueryDet与这些基线模型进行比较。
作者还对QueryDet的不同组件进行了详细的实验分析，以研究它们对检测性能和推理速度的影响。此外，作者还进行了消融实验，以研究QueryDet的不同设计选择对性能的影响。最终，作者通过比较检测准确性和推理速度等指标，证明了QueryDet在小物体检测方面的有效性和优越性。
3×的意思就是，比原始多3倍的训练时间

QueryDet的精度(AP)和速度(FPS)与COCO mini-val集上的基线RetinaNet的比较。

QueryDet和VisDrone验证集上基线RetinaNet的检测精度(AP)和速度(FPS)的比较。

不足之处

虽然QueryDet在小物体检测方面取得了显著的性能提升，但它仍然存在一些不足之处。其中一些包括：

1. 依赖于高质量的特征图：QueryDet的性能受到特征图质量的影响，如果特征图质量较低，则可能会导致检测性能下降。

2. 对小物体的检测仍有限制：虽然QueryDet可以提高小物体的检测准确性，但对于非常小的物体，仍然存在一定的限制。

3. 计算量仍然较高：虽然QueryDet通过CSQ机制减少了计算量，但在某些情况下，仍然需要较高的计算资源。

4. 对于大物体的检测效果不佳：QueryDet主要是针对小物体的检测进行优化，对于大物体的检测效果可能不如其他方法。

总之，QueryDet是一种有效的小物体检测方法，但仍然存在一些限制和不足之处，需要进一步改进和优化。

后续还可以做的工作

1. 对于小物体的检测：尽管QueryDet在小物体检测方面取得了显著的进展，但仍然可以进一步改进和优化。可以探索更有效的特征表示方法、更准确的小物体估计算法等，以提高小物体的检测性能。

2. 对于大物体的检测：QueryDet主要关注小物体的检测，对于大物体的检测效果可能不如其他方法。因此，可以研究如何改进QueryDet以更好地处理大物体的检测，提高其在各种尺度物体上的性能。

3. 模型的鲁棒性和泛化能力：进一步研究如何提高QueryDet模型的鲁棒性 ，使其能够在各种场景和环境中都能良好地工作。可以考虑引入更多的数据增强技术、域自适应方法等，以提高模型的泛化能力。