faster rcnn中的roi-pooling层

 本文就faster rcnn中的ZF网络来对roi-pooling层做一个解读
 首先看网络结构,
 layer {

name: “roi_pool_conv5”
type: “ROIPooling”
bottom: “conv5”
bottom: “rois”
top: “roi_pool_conv5”
roi_pooling_param {
pooled_w: 6
pooled_h: 6
spatial_scale: 0.0625 # 1/16
}
}
其bottom[0]就是conv5出来的feature map(长和宽分别是原始图片的1/16),bottom[1]是rois(是一个blob)。
其中,top的形状是(bottom[1]->num(), channels_, pooled_height_,pooled_width_)。
其中,channels是bottom[0]的channel,pool_height_和pooled_width_都是固定的,等于6。
下面来看rio-pooling层是怎么实现的。代码见roi_pooling_layer.cpp中的Forward_cpu部分。
首先确定top的长度和宽度。我们可以将bottom[1]看成一个二维的矩阵。矩阵的行数是num_rois = bottom[1]->num(),矩阵的列数是5。(For each ROI R = [batch_index x1 y1 x2 y2]: max pool over R),这每行的5个参数代表的意思是,batch_index(也就是bottom_rois[0])确定每次在bottom[0]中的第一个维度的偏移量。其它四个参数确定在feature map中的点的坐标。现详述如下:
在feature map中,首先确定2个坐标(x1/16,y1/16),(x2/16,y2/16)。这两个点(左上,右下)就在feature map上确定了一个区域。
然后将这个区域36等分(6x6),划分成了36个相同大小的子区域。然后找出每个子区域的对应的feature map的最大值,即为top中的相应的点的值。(top的高度和宽度都是6)
对于bottom[0]的每一个channel,也都是这样找的。(注意,每次找完一个channel),batch_data和top_data都会偏移offset(0,1)。所以top的第二个维度就等于bottom[0]的channel。
对于top的第一个维度应该怎么解释呢?前面已经说了,在最外面的for循环中,
for (int n = 0; n < num_rois; ++n) {
const Dtype* batch_data = bottom_data + bottom[0]->offset(roi_batch_ind);
…………
bottom_rois += bottom[1]->offset(1);
}
每次都会有个rio_batch_ind确定在bottom[0]中的偏移量,这个rio_batch_ind就是bottom[0]这个二维矩阵的每一行第一列的值。很显然,bottom[0]不是每个num都会起作用的,我们会根据bottom[1]中的每一行的第一个值来确定要选择bottom[0]中的那个num。所以最后的top第一个维度等于bottom[1]->num。

  • 3
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
### 回答1: ROI Pooling是Faster R-CNN的一种操作,用于将不同大小的RoIs(感兴趣区域)转换为固定大小的特征图。它通过将RoI分成固定大小的网格,然后在每个网格上执行最大池化操作来实现。这样,每个RoI都可以映射到固定大小的特征图上,从而方便后续的分类和回归任务。 ### 回答2: RCNN 是一种两阶段目标检测算法,使用 CNN 从图像提取特征,再将上采样的特征送到 SVM 进行分类和回归。RCNN 很慢,因为它需要在每个区域上运行前向传递。Fast RCNN 改进了 RCNN,通过将输入图像与卷积层组合在一起来减少计算量,然后对所有候选的 ROIs 进行单独卷积,最后对每个区域生成相应的输出。Fast RCNN 是两阶段系统,无法对输入图像进行实时检测。因此,Faster RCNN 提出了将候选区域提取的步骤替换为 RPN(区域生成网络),以便快速准确地提出 ROIs。 在 Faster RCNN ,池化层的目的是将区域的特征映射汇总成固定大小的小特征张量。在实现 ROI 汇聚时,我们使用垂直方向和水平方向的 max-pooling 操作来在不同大小的区域之间共享卷积特征。为了训练 ROI-pooling,我们需要确定一个固定的特征大小,通常是 $7 * 7$ 的,以便于后续网络层的处理。为了将该区域的坐标映射回输入图像,我们需要对 ROI-pooling选择的最大特征图坐标进行适当的变换。 需要注意的是,在执行 ROI-pooling 操作时需要用到候选框的尺寸和位置,包括宽度和高度、左上角和右下角等等。为了避免误差传播,Faster RCNN 使用候选框自上而下递归地计算出特征图边界框。在前向传递过程,我们将输入图像和每个卷积特征映射作为输入。在 RPN ,我们使用可训练的 anchor boxes 来生成 ROIs。在训练过程,依照标定框计算对应 anchor box 的 IoU,然后进行分类和回归操作。因此,Faster RCNN 可以快速、可靠地生成 ROIs,并让我们进行精确和准确的目标检测和图像分类。 ### 回答3: Faster R-CNN的ROI Pooling指的是一种在Region Proposal网络(RPN)应用于通过显式边界框特征提取的方法。ROI Pooling将任意大小的ROIs(Region of Interests)变换成固定大小的特征映射,这些映射可以被送到后续的分类器进行目标检测。 ROI Pooling的核心是max-pooling操作,即对于每个ROI,以最大池化的方式将其均匀地划分为固定的n x n大小的网格,并从每个格子提取出最大值,最后将所有最大值拼接成一个固定长度的向量。这种方式的好处在于:固定输出大小可以简化后续分类器的设计,同时具有空间不变性(即无论ROIs的位置和大小如何,其输出大小都是固定的),这有助于减小视觉模型的计算量和内存需求。 另外,值得一提的是,ROI Pooling的引入还为Faster R-CNN的两阶段检测模型引入了统一的框架,使其能够同时进行区域提议和目标分类,从而进一步提高了检测速度和准确性。 总之,ROI Pooling是Faster R-CNN的一个重要步骤,它在目标检测发挥了关键作用,对于提高检测速度和准确性具有重要意义。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值