RPN、ROI Pooling 与 ROI Align

在学习Faster-RCNN的时候，一直有一个问题萦绕脑海，挥之不去。ROI Pooling层的作用是什么？一直以为Pooling层的作用就是ROI Pooling层的作用？ROI Align又是做什么的的？记录一下学习的过程，有同样困难的小伙伴希望能和大家一起学习。
RPN网络
Faster-Rcnn最具有创新的地方就是RPN网络。RPN网络组成是CNN，一般由3 $\times$ 3以及1 $\times$ 1的卷积构成,RPN网络可以输入任意大小的图片尺寸，影响图片输入尺寸的是全连接层，这个问题得到了解决在SPP-Net。在Feature map之后进行卷积处理，每个卷积的中心点都可以对应到原图一个区域里面，这就是感受野的概念，假设我们做了4次2倍的下采样，那么Feature map上一个点对应原来$2^4$大小的区域，要在这个尺寸的区域生成9个锚框，根据3个尺寸和3个长宽比生成，假定Feature map大小为40 $\times$ 60，那么总共的锚框就有40 $\times$ 60$\times$ 9 =20$k$个锚框，然后对这些锚框进行筛选，用到IOU，假定IOU>0.7为正样本，IOU<0.3为负样本，IOU在0.3到0.7之间的直接舍弃，若有的IOU达不到0.7，则取IOU最大的作为正样本。接下来经过全卷积网络(1 $\times$ 1卷积网络)来进行分类与回归任务，其中分类任务是二分类，要区分锚框里面的是不是存在物体，回归任务是根据锚框的坐标与真值的坐标进行编码与解码来生成预测框的位置。在分类任务结束之后还要进行预测框的筛选，这里采用NMS处理，对于预测框重叠面积较大的删除掉置信度较低的预测框，保留置信度较高的预测框。
ROI Pooling层的作用确实后面用到了Pooling层，所以说ROI Pooling = ROI + Pooling
以二阶段算法典型代表Faster-Rcnn来说明：
之所以叫二阶段检测算法，是因为提取了两次候选框，第一次提取候选框在RPN阶段，RPN网络在原图 生成许多框 ，但是在原图生成的框无法接续在后面的分类层与回归层。所以要对原图的框进行处理，把原图经过CNN网络投影到Feature map上，这个Feature map由开始的输入图像进行下采样得到的。
说到这里，我们需要明确一个概念，每个网格里面的数字代表什么它之代表每个网格左上角的像素值。
明确了这个问题之后，在回到候选框映射到Feature map这个问题上，在映射的过程中，在这个过程中会产生一个问题，就是你在原图生成的候选框可能不在网格的左上角，这样该网格的点是不会有像素值的，所以ROI Pooling错的第一件是请来了，==就是把不在网格左上角的点，放在该点最近的左上角的位置。其实可以看作这是一个取整操作。==第二件事ROI Pooling做的是，对生成的候选框进行Pooling操作，假定我们目标生成2 $\times$ 2的网格，但是候选框的网格大小为5 $\times$ 4，无法整分，这种情况就会采用取整策略来分配网格。
ROI Pooling存在许多弊端，在投影时候进行了取整操作，使得像素点进行了偏移，在Pooling时候也没有做到均匀分配网格信息。
基于ROI Pooling的限制，提出了ROI Align来改变ROI Pooling的缺陷。
ROI Align的处理方式
简单、粗暴。特征图候选框投影到Feature map上不进行取整操作。直接投影，假定还是生成2 $\times$ 2的网格，直接在每个网格平均分成四分，每份生成四个点。现在的只要问题是四个点的像素值不确定，怎么确定四个点的像素值就是解决问题的关键所在。采用双线性插值来解决这个问题。
线性插值：线性插值