知识蒸馏
文章平均质量分 89
kd, knowledge distillation
Tecypus
这个作者很懒,什么都没留下…
展开
-
GLAMD: Global and Local Attention Mask Distillation for Object Detectors
与图1 ( b )中只关注一个人的全局注意力掩码相比,图1 ( c )中我们的方法生成的local patch掩码覆盖了其他信息对象,如人和自行车。由于掩码是通过在全局和局部级别应用注意力机制生成的,因此在本文中,我们将所提议的掩码称为全局和局部注意力掩码( GLAM )。传统的全局注意力机制 只在乎了某一个区域,这是因为全局注意力mask突出单个spot,忽略其他局部细节,本文提出 一个新颖的mask,它反映 全局-局部 特征,如图二所示,可用于future和head蒸馏。l是FPN的 stage。原创 2022-11-14 14:44:01 · 731 阅读 · 1 评论 -
Multi-Faceted Distillation of Base-Novel Commonality for Few-shot Object Detection
小目标检测中基于新型共性的多方面蒸馏Abstract. Most of existing methods for few-shot object detection follow the fine-tuning paradigm, which potentially assumes that the classagnostic generalizable knowledge can be learned and transferred implicitly from base classes with ab原创 2022-11-10 19:18:14 · 1338 阅读 · 0 评论 -
HEAD: HEtero-Assists Distillation for Heterogeneous Object Detectors
我们观察到,异构KD (不同KD )的核心难点在于,由于优化方式的不同,异构检测器的主干特征之间存在明显的语义鸿沟。Ps, 即经过ROI对齐后的特征,要么是双阶段学生RPN后对齐的特征,要么是图二右上方那里经过 convert 后的RoIs对齐后的特征。传统方法受限,因为主干知识的差异扩大了教师和学生间的语义鸿沟,本篇论文重点在 同一backbone下的 不用检测头对 学生头的指导。这里计算还是好理解的,助手拿到的是学生backbone得到的特征,要和Teacher计算loss,还要和GT比较。原创 2022-11-06 10:26:32 · 979 阅读 · 0 评论