《Region Proposal by Guided Anchoring》阅读笔记

参考

Guided Anchoring: 物体检测器也能自己学 Anchor

背景

目前目标检测任务的先验框都是基于anchor机制，对于两步检测（Faster Rcnn)器，先基于anchor 经过RPN生成候选框，RPN是对均匀分布的anchor分类与回归的过程，再对候选框分类与回归。而单步检测器则是对均匀分布anchor 直接分类与回归。
这种anchor机制优点在于简单可行。但对尺度与长宽比有要求，不同物体大小不同，有些anchor 并不能与目标相匹配。而且背景部分的anchor 会影响训练，而且anchor 的数量影响检测的性能与速度。本文创新在于提出新的anchor 生成机制，使得生成的anchor 形状可变并稀疏。

网络结构

与现有方法相同，也是在多特征层上预测，每个特征层使用新的anchor生成方法，并设计新anchor与ground truth 匹配方法用于训练。

本文主要贡献是：
1.新的anchor 生成机制
2.将anchor 的生成分解为位置预测与形状预测
3.用于不同形状anchor 的特征提取模块Feature adaptation module
4.实验认证

Anchor 生成方法

Formulation

用4个变量(x,y,w,h)描述一个anchor 分别代表中心坐标与长宽。I代表给定需要检测的图像。位置预测与形状预测可以视为一个条件分布，等式左边
等式右边将分布分解为两个条件分布相乘。分别进行位置预测（下图$N_L$网络)与形状预测（下图$N_s$网络)。两个预测结合形成一个anchor 生成

Anchor 位置预测

位置预测目的是找出可能存在目标的位置，相当于过滤了不大可能存在目标的区域，而之前的anchor方法在所有位置都进行回归。
上图Guided Anchoring $N_L$用于位置预测，网络输入是一个特征层$F_1$，输出大小为WH1，W,H 与特征层大小相同。使用一个1*1的卷积核。对于输出值$P(i,j|F)$代表(i,j位置存在目标的概率。

Anchor 形状预测

在对Anchor 进行位置预测后，可以预测一个长宽形成一个anchor ，这些anchor的形状是不固定的，而之前的anchor方法生成的形状都是固定的。上图Guided Anchoring $N_s$用于形状预测。输入是特征图$F_1$，输出为WH2，两个通道对应长宽预测，卷积核1*1，预测是的变换惊讶，而不直接预测长宽，因为直接预测长宽的取值范围太大。

Feature adaptation module

特征的感受野相同，而anchor 大小不同，导致anchor内的特征不匹配，因为旧anchor 方法形状固定所以不存在这种问题。作者使用Feature adaptation module 解决这个 问题。在原特征层上使用33的可形变卷积核修正原始特征，面卷积核的偏移由11卷积核丰形状预测结果止计算得出，这里与原本的可形变卷积偏移方式不同。

Anchor 比较

均匀分布
不均匀，稀疏分布，anchor 形状不规则
GA的anchor Iou分布比较

Anchor 与GT 匹配

预测包含位置形状预测，训练时需要两个预测网络的训练样本。

位置匹配

绿色块是目标框中心部分区域，该区域的点为正的位置点，黄色块忽略，不参与训练，灰色区域为负的位置点，多个目标框的色块合并作为位置预测label

形状匹配

根据下面公式选择w,h,作为回归的目标值
但这样计算成本太大，实际采样9对w,h 选择结果最好的。

训练总损失

分类，回归，位置，形状预测损失之和

实验结果

COCO上不同检测方法比较
使用Guided Anchoring 代替原anchor 后结果比较