(a)图像金字塔结构
将图片缩放成不同尺度,每个尺度的图片都通过算法进行预测,效率较低
(b)简单特征图
Faster R-CNN采用的方式,对最终的特征图进行预测,小目标预测效果不好
(c)锥体特征层次
SSD算法类似,对正向传播过程中生产的不同特征图分别预测
(d)特征金字塔
不仅是对不同特征图进行预测,还会对不同特征层进行融合后预测
感觉(a)和(c)结构相似,但实际上一个是对图像缩放预测,一个是卷积提取特征进行预测
FPN如何实现不同特征层的融合,进行高层特征图与底层特征图融合
针对每一个骨干网络上的特征图进行1X1的卷积处理,目的是为了调整不同特征图的通道数,因为不同层次上的特征图通道数是不同的,一般越来越多;
对于上一层的特征图进行二倍的上采样,即插值,保证了融合上层和下层的特征图高和宽一致。
在FPN中可以针对不同特征层预测不同尺度的目标,而Faster R-CNN中所有的不同面积不同比例的Anchor都在一个特征图预测
FPN通过RPN预测的Region proposal如何对应到原图,在代码LeverMapper和文章,还需进一步学习
粗略学习,后续还会持续更新
文章主要内容来源于:1.1.2 FPN结构详解_哔哩哔哩_bilibili