特征金字塔参考视频 1.1.2 FPN结构详解_哔哩哔哩_bilibili
(a)图是特征图像金字塔结构,针对检测不同尺度的图像。存在一个问题,生成多少个尺度,就要进行多少个预测,这样子的效率是很低的。
(b)图是faster-RCNN中所采用的一种方式,图像利用backbone得到最终的特征图,在最终的特征图上进行预测,但是它对于小目标检测效果不是很好。
(c)图,也是将图像输入到backbone,在得到的不同特征图上分别进行预测。
(d)图,FPN结构,与图c进行对比,它不是简单地在通过backbone得到的不同特征图上进行预测,而是会将不同特征图上特征进行融合,然后再预测。有助于提高我们的检测效果。
FPN
1、如何融合特征
1×1卷积--调整不同特征图的通道数,为了进行融合,必须保证通道相同。
2x up(2倍的上采样)--将上面的特征图进行2倍的上采样(7*7--14*14),保证尺寸相同。
2、详细结构图(backbone是resnet50)
3、如何映射到原图上
Ki是上图中的Pi,根据K值判断映射到哪一个特征层上。
比如k=3,则proposal映射到P3上。