FPN模块通过高层特征反哺低层，平衡语义与分辨率。在目标检测中，它与RPN和detection head结合，通常共享参数。RPN生成的proposal在特定层级的特征图上计算，如112*112的proposal在p3上。对于ViT在语义分割中的应用，beit实现将特征放大后再通过FPN结构，以适应FPN的金字塔结构。
FPN 模块的结构很简单，主要思想是高层特征反哺低层特征，达到语义与分辨率的平衡。
当用于目标检测时，一个问题是如何与 RPN 和 detection head 结合。在原始的 fast-rcnn RPN 中（参考的是霹雳吧啦的视频）是在每个 FPN 后都加上 RPN+detection head，并且它们共享参数。
另一个问题是 RPN 生成的 proposal 最后在哪个特征图上计算，作者提供了一个公式来 navigate。比如 proposal 是 112\*112，那么会计算得到 3，也就是说在 p3 上计算。（什么是 p3 参考下面第二张图）
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
