FPN网络介绍

前言

  上一篇博文我们介绍了FCN结构，这篇博文我们来简答的介绍下FPN网络，FPN (Feature Pyramid Network) 是一种用于图像语义分割、物体检测等任务的神经网络结构。是针对目标检测提出的结构。

一.FPN网络

先来看下FPN的网络结构：

  上面总共展示了4张图：

图(a)是特征图像金字塔，就是将图片缩放到不同的尺度；
图(b)是单层特征，只要最后一个；
图(c)是不同特征层分别预测；
图(d)就是特征金字塔结构，就是对下采样的图像再进行逐级的融合回来，融合之后再预测，这也是目前图像分割，检测中用的最多的方法。

  我们来看下到底怎么融合的，如下图所示：

  从上面的融合过程可以看到，融合过程也非常简答，即同一层的经过$1\times 1$的卷积去调整通道权重，来自上层的特征层经过经过两倍上采样与之融合，这个上采样就是简单的邻近插值算法。下图展示了比较详细的FPN结构：

上面的图中有一点需要注意的是，在predict之前还会有一个$3\times 3$的卷积层。

二.网络创新点

特征金字塔结构：FPN 网络引入了特征金字塔结构，即将输入图像通过不同大小的卷积核进行卷积，得到一系列尺度不同的特征图。这些特征图能够更好地适应不同尺度的目标。
特征融合：FPN 网络中的特征融合操作能够将不同尺度的特征图进行融合，得到更加丰富的特征表示，从而提高了网络对目标的检测和定位能力。
多任务学习：FPN 网络不仅能够用于物体检测，还可以用于语义分割、实例分割等任务。这得益于其特征金字塔结构和多层特征融合操作，使得网络能够更好地适应不同的任务。

总结：
  FPN 网络引入了特征金字塔结构、上采样和下采样结合、特征融合和多任务学习等技术，使得网络能够更好地适应不同尺度和不同任务的目标检测和分割任务。