qq_45128278的博客

基于目标感知双分支提取的跨域目标检测在野外，跨领域目标检测是一项现实而具有挑战性的任务。由于数据分布的巨大变化和目标域中缺乏实例级注释，它的性能会下降。现有的方法主要关注这两个困难中的任何一个，即使它们在跨域对象检测中紧密耦合。为了解决这个问题，我们提出了一个新的目标感知双分支蒸馏框架。通过将源领域和目标领域的检测分支集成在一个统一的师生学习方案中，可以减少领域转移并有效地产生可靠的监督。特别地，我们首先在两个域之间引入一个不同的目标提议感知者。通过利用来自迭代交叉注意的目标提议上下文，它可以自适应地增强

图像分类特征的适当重用改善了目标检测摘要迁移学习中的一个常见做法是通过对数据丰富的上游任务进行预训练来初始化下游模型权重。具体而言，在对象检测中，特征主干通常用ImageNet分类器权重来初始化，并在对象检测任务中进行微调。最近的研究表明，在长期的训练体制下，这并不是绝对必要的，并提供了从零开始训练骨干的方法。我们研究了这种端到端训练趋势的相反方向:我们表明，知识保留的一种极端形式——冻结分类器初始化的主干——持续改进许多不同的检测模型，并导致可观的资源节省。我们假设并通过实验证实，剩余的探测器组件容.

摘要目前最先进的蒸馏方法主要是基于从中间层蒸馏出深层特征，而对数蒸馏的意义被大大忽略了。为了提供一个研究Logit蒸馏的新观点，我们将经典的KD损失重新表述为两个部分，即目标类知识蒸馏（TCKD）和非目标类知识蒸馏（NCKD）。我们对这两部分的效果进行了实证调查和证明。TCKD传递有关训练样本 "难度 "的知识，而NCKD则是Logit蒸馏法发挥作用的突出原因。更重要的是，我们揭示了经典的KD损失是一个耦合的表述，它（1）抑制了NCKD的有效性，（2）限制了平衡这两部分的灵活性。为了解决这些问题，我们提.

摘要在这项工作中，我们介绍了双注意视觉变换器（DaViT），这是一个简单而有效的视觉变换器架构，能够在保持计算效率的同时捕捉全局环境。我们建议从一个正交的角度来处理这个问题：利用 "空间标记 "和 "通道标记 "的自我注意机制。对于空间标记，空间维度定义了标记的范围，而通道维度定义了标记的特征维度。对于通道标记，我们有相反的情况：通道维度定义了标记的范围，而空间维度定义了标记的特征维度。我们进一步沿序列方向对空间和通道令牌进行分组，以保持整个模型的线性复杂性。我们表明，这两个自留地是相互补充的。(i)由.