目标检测特殊层:RFCN中PSROIPooling层

    RFCN是基于Faster RCNN的工作,base net得到feature maps, 用RPN得到proposals。由于classification需要固定长度的feature vector,就需要ROI pooling layer + fully connected layer来获得,但是这个过程会去除目标的位置信息,而这个信息对于检测问题,至关重要。所以,RFCN提出position-sensitive score maps来解决这个问题。

position-sensitive ROI pooling layer的输入是ROI features, 输出是C+1维的特征向量。 
以k=7, C=20为例,具体的数据形式如下:

    其实在第二个卷积的时候,它产生的7*7*21个输出,是不知道具体所谓的位置信息的,而是后面的position-sensitive roi pooling这一步的特定选取规则,使得对于每一类,这49个maps产生了差异,在训练的时候,为了使最后的损失函数最小,这49输出对应的kernel就慢慢地显现出差异。

    rfcn的核心是延续fastRCNN的思想:对于每一个proposal,所有的卷积操作(费时的操作)都只做一次。fastRCNN提出baseNet,让proposal从feature map上寻找roi,但是不同的proposal还是得重复进行后面的全连接层;rfcn提出psROIpooling, 让proposal从bbox map和score map上寻找roi,从而取消全连接层,这样不同的proposal做的重复的事情,就只有后面的average pooling。其实,per roi map还是二维的,最后二维变成一维是通过average pooling来实现的。

示例图如下:


RFCN解决的问题:

1:平移不变性指的是一个物体,不管在图片的哪个位置,你都能准确的识别出来这个物体。因此在图像分类任务中,平移不变性非常重要。但是在物体检测中,你识别到了一个物体之后,你需要准确地定位这个物体,这个时候你就需要在意物体在图片中的位置(IoU)

2 :rcnn证明了cnn提取的特征的有效性;而spp解决了如何应对不同尺度feature map的问题;fast rcnn通过roi pooling将需要应用到多个候选框上的基CNN模型进行共享,加快了速度并且提升了准确度;而faster rcnn为了更进一步的共享基CNN,将本来需要由SS算法提取候选框的任务一并放入基CNN中,从而提出了RPN子网络;

3:减少了全连接层,推荐窗口在位置敏感图上直接提取特征,这一点和fasterRCNN一样,之后得到ROI的特征,之后做一下全局的平均,分类;贡献就是得到了减少的二阶段的计算量,提出了位置敏感特征图


  • 2
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值