文章目录
参考
Guided Anchoring: 物体检测器也能自己学 Anchor
背景
目前目标检测任务的先验框都是基于anchor机制,对于两步检测(Faster Rcnn)器,先基于anchor 经过RPN生成候选框,RPN是对均匀分布的anchor分类与回归的过程,再对候选框分类与回归。而单步检测器则是对均匀分布anchor 直接分类与回归。
这种anchor机制优点在于简单可行。但对尺度与长宽比有要求,不同物体大小不同,有些anchor 并不能与目标相匹配。而且背景部分的anchor 会影响训练,而且anchor 的数量影响检测的性能与速度。本文创新在于提出新的anchor 生成机制,使得生成的anchor 形状可变并稀疏。
网络结构
与现有方法相同,也是在多特征层上预测,每个特征层使用新的anchor生成方法,并设计新anchor与ground truth 匹配方法用于训练。
本文主要贡献是:
1.新的anchor 生成机制
2.将anchor 的生成分解为位置预测与形状预测
3.用于不同形状anchor 的特征提取模块Feature adaptation module
4.实验认证
Anchor 生成方法
Formulation
用4个变量(x,y,w,h)描述一个anchor 分别代表中心坐标与长宽。I代表给定需要检测的图像。位置预测与形状预测可以视为一个条件分布,等式左边
等式右边将分布分解为两个条件分布相乘。分别进行位置预测(下图
N
L
N_L
NL网络)与形状预测(下图
N
s
N_s
Ns网络)。两个预测结合形成一个anchor 生成
Anchor 位置预测
位置预测目的是找出可能存在目标的位置,相当于过滤了不大可能存在目标的区域,而之前的anchor方法在所有位置都进行回归。
上图Guided Anchoring
N
L
N_L
NL用于位置预测,网络输入是一个特征层
F
1
F_1
F1,输出大小为WH1,W,H 与特征层大小相同。使用一个1*1的卷积核。对于输出值
P
(
i
,
j
∣
F
)
P(i,j|F)
P(i,j∣F)代表(i,j位置存在目标的概率。
Anchor 形状预测
在对Anchor 进行位置预测后,可以预测一个长宽形成一个anchor ,这些anchor的形状是不固定的,而之前的anchor方法生成的形状都是固定的。上图Guided Anchoring
N
s
N_s
Ns用于形状预测。输入是特征图
F
1
F_1
F1,输出为WH2,两个通道对应长宽预测,卷积核1*1,预测是的变换惊讶,而不直接预测长宽,因为直接预测长宽的取值范围太大。
Feature adaptation module
特征的感受野相同,而anchor 大小不同,导致anchor内的特征不匹配,因为旧anchor 方法形状固定所以不存在这种问题。作者使用Feature adaptation module 解决这个 问题。在原特征层上使用33的可形变卷积核修正原始特征,面卷积核的偏移由11卷积核丰形状预测结果止计算得出,这里与原本的可形变卷积偏移方式不同。
Anchor 比较
均匀分布
不均匀,稀疏分布,anchor 形状不规则
GA的anchor Iou分布比较
Anchor 与GT 匹配
预测包含位置形状预测,训练时需要两个预测网络的训练样本。
位置匹配
绿色块是目标框中心部分区域,该区域的点为正的位置点,黄色块忽略,不参与训练,灰色区域为负的位置点,多个目标框的色块合并作为位置预测label
形状匹配
根据下面公式选择w,h,作为回归的目标值
但这样计算成本太大,实际采样9对w,h 选择结果最好的。
训练总损失
分类,回归,位置,形状预测损失之和
实验结果
COCO上不同检测方法比较
使用Guided Anchoring 代替原anchor 后结果比较