cnn 预测过程代码_FPN的Tensorflow代码详解——特征提取

@TOC
  特征金字塔网络最早于2017年发表于CVPR，与Faster RCNN相比其在多池度特征预测的方式使得其在小目标预测上取得了较好的效果。FPN也作为mmdeteciton的Neck模块，成为常用的目标检测策略之一。分别提供论文地址特征金字塔论文地址以及代码链接Github链接。
  本文以介绍论文中的原理以及其具体的实现方式为主，代码的环境配置和以及各个脚本文件的内容会根据需要补充。按照数据读入到输出的过程带大家走一遍流程。

特征提取原理

  FPN与传统Faster RCNN框架相比，其最大的创新点就是自底向上又自顶向下的金字塔结构。图中A对应的特征图金字塔，直接利用不同大小的图像进行预测推理，图中B是传统的单池度预测，选择网络输出的最后一层的结果进行预测，图中C的层次金字塔则是在不同池度的特征图上进行预测。到FPN则是在层次金字塔的基础上，将相邻层的特征进行融合得到新的特征图，作为特征信息进行预测。

1. 自底向上：自底向上即对应着CNN网络的特征提取的过程，以VGG16为例。VGG16由13个卷积层、3个全连接层以及5个池化层组成。那么在特征提取的过程中，每经过一层Max-pooling层，特征图大小就会缩放为原来的1/4。将卷积到每个池化操作合并为一次特征提取过程，记作CONV。那么VGG16可以视为由5个CONV层+3个FC层组成。
   图中是VGG16的网络示意图，每个CONV块由2个3x3的卷积以及一个步长为2的最大池化构成，实现了对特征图在HxW上的信息变为原来的1/4，而通道信息变为原来的2倍。那么把这样的一系列操作记作CONV，特征图宽高的缩放通过POOL实现，而通道的升维通过3x3的卷积实现。(选择不同的backbone的CONV的实现方式不同，但结果一致)，那么通过5个CONV操作得到的特征图C5即是单特征图预测的输入。而层次金字塔则通过不同CONV层输出的特征图C_list={C1,C2,C3,C4,C5}中选择后三层作为RPN的输入进行预测。
     那么我们可以将通过不同的CONV模块获得C_list的一系列操作的过程称为自底向上。也就是传统CNN中的特征提取阶段。

2. 自顶向下：与传统CNN不同，FPN在得到C_list之后没有直接选择其作为RPN的输入进行目标预测，而是将不同层的特征相融合来获得更加充分的信息。这一操作的思想是基于浅层的卷积层往往包含更多纹理、形状等特征，而高层的卷积层则包含更多的语义信息。将二者有效结合起来则能更好的提升网络的表达能力。
   可以看到，随着网络层数的加深，提取到的特征可视化后就越抽象。如果仅仅选用C_list中的某一层进行预测，则无法利用到其他层的语义信息。特征利用不充分。
     为了充分利用不同层的语义信息，FPN将最高层C5的通道数通过1x1的卷积固定到256得到融合层特征P5。而P4则是通过将P5层通过双线性插值的方式上采样到14x14x256大小，再与C4层通过1x1卷积固定通道得到的结果相加，实现相邻层之间的特征融合。以此类推即可相应的得到P3和P2层特征。而P6层特征则是通过对P5层用max-pooling的方式下采样得到的，注意有些博客写的是通过C6层得到的，是不对的。那么我们将通过特征融合的方式将高层语义传播到低层卷积得到P_list的过程叫做自顶向下。

对应代码分析

  在掌握原理的前提下就比较好对代码进行消化吸收了。在讲代码的时候我会从/FPN_Tensorflow_master/libs/networks/build_whole_network.py开始讲起。这一部分对应着网络的搭建，也就是Tensorflow构建图的过程。根据讲解的需要会调到具体的函数仔细分析，类似于你在Debug的过程。主要带大家体会一下Tensor在图中流动的感觉。
  那么我们要看的第一个函数就是build_whole_detection_network这个函数，在这里我们搭建了整个FPN框架。我会依次的讲解FPN的每个部件是如何实现的。

def build_whole_detection_network(self, input_img_batch, gtboxes_batch):

if self.is_training:
# ensure shape is [M, 5]
        gtboxes_batch = tf.re