faster-rcnn代码解读记录,github+tf

小小白最近对目标检测比较感兴趣,也看了许多关于rcnn相关的文章博客,大致有了一些概念,发现虽然原理好懂,但是具体如何搭建网络依旧不知所然,而网络上的代码解析也并不详细,对于我这种纯新手完全不太友好- -,所以结合在github下的一份大牛代码,研读了几天写一下大体思路,代码截图+分析,写的啰嗦一点方便日后还能看懂。

推荐先读:https://blog.csdn.net/zziahgf/article/details/79311275

github:https://github.com/endernewton/tf-faster-rcnn

首先,整个网络大体有三个部分组成,首先是公共的特征提取网络,目前在看的源码中可以选择VGG16等网络来作为特征提取网络,继而在特征提取网络的最后输出的基础上,再加一个RPN网络,RPN网络主要用于输出候选框(roi)的坐标修正量以及针对每一个候选框的可靠打分。最后是一个fast-rcnn网络,用于生成最终的目标框坐标以及目标框内的类别信息。

接下来是阅读代码后的一些解读:

锁定主要网络结构:

代码中使用network作为基类,又分别实现了vgg16等类,这些类的差别仅在于对于特征提取网络的不同选择,而整个网络结构的搭建主要在network.py的_build_network(self,is_training)函数中实现:

针对这个函数其实是由许多阶段性网络结构拼接而成,我们接下来逐个分析一下:

一、公共特征提取函数_image_to_head(is_training)

本函数可以理解为一个虚函数,在以不同网络结构作为基础的特征提取网络中,我是选择的vgg16网络,下面是其实现:

可以看到本函数输出的就是普通的一个vgg16的五层卷积后的输出特征图。

二、anchor机制以及RPN网络

对于公共特征提取网络输出结果,stride和大概为16,即输入图片尺寸与输出特征图(也可以理解为是一个图片,反正都是一个矩阵)尺寸的比,假设最后输出特征图尺寸为60X60,那么可以理解为60X60个点,每一个点都可以作为一个窗口中心点,那么窗口的尺寸呢?这就是anchor的用处,每一个anchor即对应9个(一般是9个)窗口尺寸,再将每一个窗口应用在每一个中心点上,用来截取原图像,那么一共可以截取60X60X9约3W幅图片,即60X60X(9X4)个坐标。然后针对这些窗口,网络又需要预测窗口中是否存在目标,即对于每一个窗口还要有两个概率输出,也就是一共要有60X60X(9X2)概率得分,用于甄别对应的候选框里是否存在目标,达到候选窗筛选的功能,下面贴代码逐句分析:

2.1 anchor机制

可以看到,函数一开始先利用原图尺寸以及stride数值来推算经过特征提取后输出的特征图尺寸,即上文中假设的60X60。

之后有两种情况,这也是通过配置类config的对象cfg提前设置的,不必深究,大概就是如果选择E2E(end to end端到端)的话,不将anchor的产生过程加入流图节点,下面主要看一下generate_anchors_pre函数:

大概的分开看一下这个函数,首先是generate_anchors()函数,功能就是生成9个不同面积不同长宽比的窗口,接下来根据height和width,将9个尺寸的窗口应用于(height X width)个中心点上,生成height X width X 9 个具体的窗口,也就是height X width X (9X4)个具体的坐标,即上文中假设的60X60X(9X4)个坐标。 

anchors为[H*W*9,4]张量,即针对每个中心点有九个窗口。

返回_anchor_componet()函数,将得到的候选窗坐标保存在类成员变量self._anchors中。

2.2 RPN网络

接下来,_build_network()又通过_region_proposal()函数来生成了roi区域,即该函数实现了RPN网络的功能,看一下代码:

该函数比较复杂,因为RPN网络本身作为一个神经网络就需要训练,所以在得到结果的同时,必须还要根据样本构造其真值标签。而RPN网络又有两个输出支路(上文有提及的得分和坐标),所以可以将这一段程序看作两大部分,即构造网络结构,以及构造真值样本,其中又分别针对两个输出支路,故有4小部分。

现在看一下网络构造部分:

首先是一个3X3卷积,之后通过各种reshape,softmax得到rpn_cls_prob这个张量,尺寸为[-1,W, H, 9*2],即之前假设的对于每一张图的60X60X(9X2)个得分,以及rpn_bbox_pred,[-1, W, H, 9*4],为候选框roi的修正量,结合之前得到的self._anchors即可得候选框坐标。

再来关注一下后续的处理:

可以看到主要是三个函数:_proposal_layer, _anchor_target_layer, _proposal_target_layer,下面分开看一下这三个函数:

2.2.1 _proposal_layer

其实是调用了layer_utils.proposal_layer.py中的proposal_layer()函数,接下来再解剖一下该函数,首先提取一下得分与窗口坐标:

这里num_anchors=9,那么这个scores是什么意思呢,前面说到rpn_cls_prob是[-1,W, H, 9*2]的得分张量,即针对每个中心点的九个不同窗口的不含目标分数和含目标分数(也可以按含目标概率来理解),那么只取后9个的话,就是scores为[-1,W, H, 9]的张量,代表每一个中心点的每一个窗口含目标的分数,之后reshape成[W*H, 1]的分数列(此处假设对一张图片进行处理)。

同理,将之前所得的self._anchors通过bbox_transform_inv函数与RPN输出rpn_bbox_pred进行结合,得到各个窗口坐标,并reshape成[W*H, 4]的样子,顺序与scores对应。

那么这一共约3W个窗口,都是作为候选框,如果都拿去给后续的网络作为roi进行处理,势必过于浪费资源,所以要进行一定的筛选:

按照代码段落,分为四块:

      1. 根据得分高低,取前pre_nms_topN个窗口

      2. 非极大值抑制

      3. 再选取前post_nms_topN个窗口

      4. 将每个窗口的信息由4维(坐标)扩至5维

输出筛选后的窗口以及其得分

2.2.2 _anchor_target_layer

函数猛一看挺多,其实就是调用了layer_utils.anchor_target_layer.py里的函数,然后处理一下尺寸储存在_anchor_targets里面,字面含义,候选窗学习目标。

看一下anchor_target_layer(),函数很长,分开来看:

大体思想,将超出原图像尺寸范围的候选窗直接pass掉,保留剩下的窗口,并且创了一个label,用于存放相应窗口的ground truth。

继续看下一部分

overlaps为IOU矩阵,即overlaps[i][j]为第i个窗口与第j个真值窗口的IOU系数。

max_overlaps为针对每一个窗口,其与所有真值窗口中IOU最大的值,argmax_overlaps为其索引,这也是应用于后继判断label的依据

gt_argmax_overlaps为针对每一个窗口,完全被包含于某真值窗口,且IOU为真值窗口与所有窗口的最大值,满足该条件的窗口索引

有了这两组数据,就可以根据IOU对当前的窗口进行标定:

这里要提一下标注的原则:

         1、对每个标定的真值候选区域,与其重叠比例最大的anchor记为前景样本
                    2、对剩余的anchor,如果其与某个标定重叠比例大于0.7,记为前景样本

         3、如果其与任意一个标定的重叠比例都小于0.3,记为背景样本

这一段在代码上的实现也很简单,一目了然。

那么经过这样的处理,labels就是包含如下内容:

       1、 对于废弃的窗口,其对应的label为-1

       2、 对于认为是目标的窗口,其对应的label为1

       3、 对于认为是背景的窗口,其对应的label为0

这样就可以根据这个labels作为ground truth来使用交叉熵训练RPN网络中的得分支路(就是rpn_cls_prob)

接下就要根据样本中的真值窗口搞出来对RPN网络中的窗口回归训练真值:

bbox_targets,以及后续的outside,inside权重,用于构建训练窗口回归的loss函数

_compute_targets函数正常是调用model.bbox_transform.py中的bbox_transform函数:

很简单的返回了每一个预测窗口与其对应iou最大的真实窗口的尺寸差别尺度。

至于后续的bbox_outside_weights以及bbox_inside_weights就是简单的针对前后景样本的权值。

至此anchors_target_layer就结束了,分别得到rpn_labels, rpn_bbox_targets, rpn_bbox_inside_weights, rpn_bbox_outside_weights, 储存在self._anchor_targets中,分别应用于后续构造RPN的分类和回归loss。

2.2.3 _proposal_target_layer

这一个layer用于创建训练后续fast-RCNN的真值标签以及回归目标:

函数内部先调用layer_utils.proposal_target_layer.py中的proposal_target_layer函数来构造target:

调用_sample_rois构造标签与回归框修正:

初步将labels定义为每个预测窗口对应IOU最大的真值窗口的标签

进一步筛选,根据前景阈值,背景阈值将所有预测窗口分为前景窗口,背景窗口以及无效窗口,并将索引保存在fg_roi_per_image, bg_roi_per_image。

进一步,抛弃无效窗口,只保存有效窗口的roi,labels,roi_scores,其中labels设置为前景为样本真值标签,背景为0,这也符合原论文中,将背景单作为一类用于分类的想法。

通过两个函数得到bbox_targets以及bbox_inside_weights,与anchors基本一致的方法。

至此,最终fast-rcnn的预测标签以及回归框修正就已经构造完成,将其保存在self._proposal_targets里面,用于后续loss定义。

这样整个RPN网络就构造完成了,除了RPN网络外,在训练时还额外加了两个真值生成层(anchors_target_layer, proposal_target_layer)以及roi筛选层proposal_layer。

三、 fast-RCNN

在分析这部分代码之前,先简要提一下rcnn,rcnn完成目标检测的流程大概分为两部分,先是使用selective search来选出候选窗,按候选窗尺寸在原图截出候选区域,将其输入cnn网络提取特征后,再通过svm挨个区域进行分类,最后将属于同一类的窗口进行回归,得到最终窗口完成了目标检测。

而fast-rcnn有什么改变呢,首先来看rcnn的弊端,最大的弊端,是对于每个候选区域都要挨个过一遍cnn来提取特征,而fast-rcnn是这样做的:将整个图输入cnn得到一个完整的特征图,然后将每个候选区域尺寸通过映射关系找到对应的特征图区域,再送去分类,这样的好处就是只要过一遍cnn。

这样我们就能很轻易的看懂接下来的代码:

这是在build_network中的部分函数,其中可以看到rois就是我们通过上文的RPN网络筛选出的一些候选区域,_crop_pool_layer就是将这些候选区域映射至5层卷积后的特征图上,并截取相应区域,完成池化后输出第五层池化结果pool5。

之后再将pool5输入后继全连接网络_head_to_tail,该函数也是个虚函数,具体的定义要根据选择的基础网络而定,本次选择vgg16,故可以在vgg16.py中看到此函数定义,简单的讲就是两层全连接层,输出结果fc7。

网络搭建到这一步,就只剩下根据fc7完成最后的目标分类和目标框分类:

可以看到,终于是最后一步了,cls_prob和bbox_pred就是我们这整个网络的输出,关注一下_region_classification函数:

可以看到,十分简单的网络结构,一个全连接+softmax来分类,一个全连接来回归边框,将结果储存在self._predictions中,完成。

四、 loss组装

源码中loss的定义位于network.py中的_add_losses函数中

由于整个大的网络是由三个网络拼接的,最前面的vgg16只是提取特征,而RPN以及fast-RCNN均有预测输出,所以整个loss由4个部分组成:

4.1 RPN分类loss

这里有一点需要注意,首先是rpn_label中,在上文中也有提及,我们将无效窗口的label置为了-1,所以在这里计算误差的时候,忽视这部分label,选择不为-1的label以及对应的score,计算softmax交叉熵,作为分类loss。

4.2 RPN候选窗回归loss

简单的讲,就是计算了l1误差

4.3 fast-RCNN分类loss

 因为这了已经在proposal_target_layer中抛弃了无效标签以及相应的roi,所以直接softmax交叉熵。

4.4 fast-RCNN窗口回归loss

这里也没什么奇特的,就是一个l1误差。

这样,整个网络就搭建完成了,优化loss或者预测等均可以通过常规操作来进行,源码上写的较为复杂,就没有研究。

这里需要注意一下一共有3个placehold:

self._image, [1,None,None,3] , 输入图片

self._im_info, [3] , 图片长,宽,色道

self._image, [None,5] , 输入图片的真值标签,真值目标框坐标(4个)

详情见create_architecture函数,位于network.py

 

  • 28
    点赞
  • 168
    收藏
    觉得还不错? 一键收藏
  • 11
    评论
评论 11
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值