Mutual Guidance 阅读笔记
Zhang H, Fromont E, Lefevre S, et al. Localize to Classify and Classify to Localize: Mutual Guidance in Object Detection[J]. arXiv preprint arXiv:2009.14085, 2020.
背景
当前的目标检测主要是以RCNN为主的两阶段检测器和以YOLO为代表的一阶段检测器，这些检测器大多都是采用了滑窗或者selective search的anchor，当然2019年开始也逐步出现了一些anchor free的方法。
在anchor检测中用采用交并比IoU来衡量检测的质量，但IoU真的那么准确吗？上图中，白色的是GT框，显然Anchor A和Anchor B拥有相同的交并比，但是，Intuitively，Anchor A包含了更多的主要信息，更适合classification。
文章主要思想
基于上述矛盾，author提出了一种衡量思路：在训练过程中动态设置样本选择阈值分配正样本解决传统IoU对物体本身的内容不敏感的问题。
Details
一些pre-knowledge
传统的anchor通常是预先定义了一组anchor的aspect ratio，在实际的滑窗训练过程中先用二分类模型判断这些anchor的框内有没有物体，并根据设定的阈值将sample标注为positive或者negative或者ignored，然后进行bonding box回归进行refine，最后做多分类再回归调整位置。这里作者将预定义的anchor和GT的IoU叫做 I o U a n c h o r IoU_{anchor} IoUanchor， I o U a n c h o r IoU_{anchor} IoUanchor 大于50%的作为positive，小于40%作为negative，其他作为ignored samples。如果没有anchor的大于50%，那就选最大的IoU的那个作为positive。如下图：
方法细节
名词解释
- 预定义的anchor和GT的IoU叫做 I o U a n c h o r IoU_{anchor} IoUanchor
- 回归得到的bonding box和GT的IoU叫做 I o U r e g r e s s e d IoU_{regressed} IoUregressed
方法
针对以上问题，作者提出了一个Mutual Guidance strategy，具体分为以下两部分
定位到分类（Localize to Classify）
动态设置述分类方法中正负样本的阈值。因为随着训练进行，正样本变多（因为二分类模型能力逐渐增强，但是阈值没变），作者认为这样会导致训练不稳定（训练不稳定会造成为什么问题？影响精确度？）。于是作者将拟将分类模型的分类能力纳入阈值设置考量范围以动态设置阈值：在根据
I
o
U
r
e
g
r
e
s
s
e
d
IoU_{regressed}
IoUregressed标注确定正负样本的时候不再直接采用固定阈值，而是根据
I
o
U
a
n
c
h
o
r
IoU_{anchor}
IoUanchor中的正样本数量n来选取
I
o
U
r
e
g
r
e
s
s
e
d
IoU_{regressed}
IoUregressed的前n个样本标注为positive，其他negative和ignored同理。
这种策略能够随着定位能力提高而提高，同时也保持了训练过程中正负样本分配的一致性！
分类到定位（Classify to localize）
在分类早期，模型处于初始状态，大多数分类的结果都接近于0，存在类似于推荐系统的冷启动问题同时也可能使得训练不稳定（作者认为），所以作者定义了一个Classify to localize的策略来避免这种问题。
首先作者定义了一个
I
o
U
a
m
p
l
i
f
i
e
d
IoU_{amplified}
IoUamplified用于替换传统的$IoU_{regressed}，其表达式如下:
I
o
U
a
m
p
l
i
f
i
e
d
=
(
I
o
U
a
n
c
h
o
r
)
σ
−
p
σ
IoU_{amplified} = (IoU_{anchor})^{\frac{\sigma-p}{\sigma}}
IoUamplified=(IoUanchor)σσ−p
其中
σ
\sigma
σ是超参用于调整的增强系数，p是分类得分。
此外，这一部分也采用了类似于前面定位到分类部分动态阈值设置的策略来设置这里的正样本阈值。
My comment
其实上面作者的想法并不是特别复杂，本身的分类和回归任务是独立的，但是作者认为分类和回归任务本身存在一定的关系，在为分类任务分配标签的时候，定位localization的预测结果较好，就把样本标签打为positive；否则打为negative，不然的话就会导致模型偏重问题，产生过多fp样本；同理在对定位任务分配标签也一样。我想这也是正是作者的Mutual Guidance strategy这个名字的由来吧！
结果
结果不讨论，有兴趣瞅瞅论文
Future Work
想法
我咋没得好的想法555555……，没有critical thinking，别人说好我就只能说好好好，有道理！！！结果好就是好，哪来这么多原因
硬核引流：欢迎大家推广关注我的公众号啊（洋可喵）！！！
354
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
