athrunsunny的博客

开集检测（OVD）旨在检测预定义类别之外的物体。作为将YOLO系列集成到OVD的SOTA模型，YOLO-World非常适合注重速度和效率的场景。然而，其性能受到其Neck特征融合机制的限制，导致二次复杂度和受限制的引导感受野。为了应对这些限制，作者提出了Mamba-YOLO-World，这是一种基于YOLO的OVD模型，采用MambaFusion Path Aggregation Network（MambaFusion-PAN）作为其Neck架构。

多模态推理系统依靠预先训练的目标检测器从图像中提取感兴趣区域（边界框包围区域）。然而，这个关键模块通常被用作黑匣子，并在有固定词汇表示的目标和属性的下游任务上独立训练。这使得此类系统很难捕捉以自由形式文本表达的视觉概念的长尾（longtail of visual concepts）目标。本文所提出的MDETR，是一种端到端调制检测器（），检测以原始文本查询（如标题或问题）为条件的图像中的目标。使用基于Transformer的架构，通过在模型的早期阶段融合两种模态，对文本和图像进行联合推理。