RoIPooling、RoIAlign区别以及改进

RoIPooling、RoIAlign笔记

RoIPooling

RoiPooling的工作原理如
Fast RCNN中提出以便使生成的候选框region proposal映射产生固定大小的feature map。
1. Conv layers使用的是VGG16，feat_stride=32(即表示，经过网络层后图片缩小为原图的1/32),原图800 * 800,最后一层特征图feature map大小:25 * 25
2. 假定原图中有一region proposal，大小为665 * 665，这样，映射到特征图中的大小：665/32=20.78,即20.78 * 20.78，如果你看过Caffe的Roi Pooling的C++源码，在计算的时候会进行取整操作，于是，进行所谓的第一次量化，即映射的特征图大小为20 * 20
3. 假定pooled_w=7,pooled_h=7,即pooling后固定成7 * 7大小的特征图，所以，将上面在 feature map上映射的20 * 20的 region proposal划分成49个同等大小的小区域，每个小区域的大小20/7=2.86,即2.86 * 2.86，此时，进行第二次量化，故小区域大小变成22
4. 每个22的小区域里，取出其中最大的像素值，作为这一个区域的‘代表’，这样，49个小区域就输出49个像素值，组成77大小的feature map。
总结，所以，通过上面可以看出，经过两次量化，即将浮点数取整，原本在特征图上映射的20 * 20大小的region proposal，偏差成大小为77的，这样的像素偏差势必会对后层的回归定位产生影响, 所以，产生了替代方案，RoiAlign

RoIAlign

RoiAlign的工作原理如

这个是在Mask RCNN中使用以便使生成的候选框region proposal映射产生固定大小的feature map时提出的
1. Conv layers使用的是VGG16，feat_stride=32(即表示，经过网络层后图片缩小为原图的1/32),原图800*800,最后一层特征图feature map大小:25 * 25
2. 假定原图中有一region proposal，大小为665 * 665，这样，映射到特征图中的大小：665/32=20.78,即20.78 * 20.78，此时，没有像RoiPooling那样就行取整操作，保留浮点数
3. 假定pooled_w=7,pooled_h=7,即pooling后固定成7 * 7大小的特征图，所以，将在 feature map上映射的20.78 * 20.78的region proposal 划分成49个同等大小的小区域，每个小区域的大小20.78/7=2.97,即2.97 * 2.97
4. 假定采样点数为4，即表示，对于每个2.97 * 2.97的小区域，平分四份，每一份取其中心点位置，而中心点位置的像素，采用双线性插值法进行计算，这样，就会得到四个点的像素值，如下图