faster-rcnn中,对RPN的理解

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/ying86615791/article/details/72788414

 

 

 

 

原文中rcnn部分的截图

 

 

图片来自网上,黑色是滑动窗口的区域,就是上图的红色区域的sliding window其他颜色 9种窗口 就是anchor机制生成的9种区域

这里要把sliding window和卷积层的滑动区别开,sliding winsow的stride步长是1!(想到经典的harr+adaboost人脸检测)

sliding window只是选取所有可能区域,并没有额外的什么作用!

 

以下是我对faster-rcnn中的RPN的理解:

经过前面的网络 生成了一个 多通道的特征图,接下来就是通过在这些特征图上应用 滑动窗口 加 anchor 机制 进行目标区域判定和分类了,

目标检测,就是包括 目标框定 和 目标判定。

所以 这里的 滑动窗口 + anchor的机制 的功能就 类似于 fast rcnn 的selective search 生成proposals 的作用

rpn网络用来生成proposals

用原文的话讲“we slide a small network over the conv feature map output by the last shared conv layer”

1.RPN是一个 卷积层(256维) + relu + 左右两个层的(clc layer 和 reg layer)的小网络
  应用在滑动窗口区域上的 , 所有的滑动窗口共享这个 RPN
  这个卷积层 对比 普通的卷积层
  1,它是一个将 n x n x channels的输入 通过256个 n x n 大小的卷积核 生成 1 * 1 * 256的feature map,即最后是256维的特征(假设前面得到的特征图是w x h x channels,那么n x n x channels的输入是在这个w x h x channels的特征图上的用滑动窗口框出的区域)
  2,它的输入就是滑动窗口nxn对应的特征图区域,经过它卷积后 特征图变成1 x 1了
  3,由于此时输出的是 1 * 1 *256,所有cls layer 和reg layer是用 1 x 1的卷积核进行进一步的特征提取,
这里1 x 1卷积核卷积时,对各个通道都有不同的参数,因为输入又是1 x 1的图片,所以相当于全连接的功能,相当于把 1 * 1 * 256展平成 256,然后进行全连接
2.关于 anchor机制
  anchor机制 就是 在n x n的滑动窗口上,进一步生成k种不同大小的可能区域
  滑动窗口 加 anchor机制 基本把目标可能出现的区域都涵盖了

 

  所以 滑动窗口 加 anchor 就替代了 滑动窗口加金字塔 的功能

 

 

3.RPN损失计算
  RPN提取出的256d特征是被这k种区域共享的
,输给clc layer和reg layer后,只要一次前向,就同时预测k个区域的前景、背景概率(1个区域2个scores,所以是2k个scores),以及bounding box(1个区域4个coordinates,所以是4k个coordinates),具体的说:

clc layer输出预测区域的2个参数,即预测为前景的概率pa和pb,损失用softmax loss(cross entropy loss)(本来还以为是sigmoid,这样的话只预测pa就可以了?)。需要的监督信息是Y=0,1,表示这个区域是否ground truth

reg layer输出预测区域的4个参数:x,y,w,h,用smooth L1 loss。需要的监督信息是anchor的区域坐标{xa,ya,wa,ha} 和 ground truth的区域坐标{x*,y*,w*,h*}

计算损失时,我们需要确定k个区域中的各个区域是不是有效的,是前景还是背景。有效的区域才计算损失。上面的监督信息:Y,{xa,ya,wa,ha}(k个),{x*,y*,w*,h*}(1个)是根据文章中的样本产生规则得到的:

对于这k个区域
1 分配正标签给满足以下规则的区域
1.1 与某个ground truth(GT)的IoU最大的区域
1.2 与任意GT的IoU大于0.7的区域
(使用规则2基本可以找到足够正样本,但对于所有区域与GT的IoU都不大于0.7,可以用规则1)
(一个GT可能分配正标签给多个anchor,具体怎么分配?)
2 分配负标签给与所有GT的IoU都小于0.3的区域。

非正非负的区域不算损失,对训练没有作用
RPN只对有标签的区域计算loss。

最后
参与训练RPN的区域都有参与最后rcnn的训练,只是只有RPN预测为前景的区域 在rcnn才有计算回归损失

在使用faster rcnn的时候,rpn预测为前景的区域才是proposal,然后按照softmax score从大到小排序选出前2000个区域,在用NMS进一步筛选出300个区域,然后输给后面的rcnn进行预测(注意此时rcnn的预测类别不包括背景,已经RPN输出的已经默认是前景了

 

没有更多推荐了,返回首页