深度学习之FPN+PAN

一、FPN

检测不同尺度的物体具有挑战性，尤其是对于小物体，我们可以使用不同尺度的同一图像的金字塔来检测物体（下左图）但是，处理多尺度图像非常耗时并且内存需求太高而无法同时进行端到端训练，因此创建了一个特征金字塔并将它们用于对象检测（右图）。

特征金字塔网络 (FPN) 是一种特征提取器，专为此类金字塔概念而设计，兼顾准确性和速度，FPN结构图如下所示。

二、PAN

FPN是自上向下的一个特征金字塔，把高层的强语义特征传递下来，对整个金字塔进行增强，不过它只增强了语义信息，却对定位信息没有传递（或者说是因为向上传递路径太长，传递效果不好）。PAN就是针对这一点，在FPN的后面添加一个自下向上的金字塔，对FPN进行补充，将低层的定位特征传递上去，这样形成的金字塔既结合了语义信息又拥有定位信息，“双杀”。
语义信息可以通俗的理解成是图像的纹理，颜色，或者目标的类别等信息，例如在检测网络中，一个图像输入到网络中，经过一层层的卷积之后，语义信息会越来越明显，但是相对的位置信息会越来越弱，因为越到高层卷积的时候，feature map映射到原图中的感受野越大，这样对局部的位置信息感受就比较差。