pytorch faster rcnn复现系列（一） RPN层输入输出维度理解

最新推荐文章于 2024-01-13 18:20:16 发布
置顶 最新推荐文章于 2024-01-13 18:20:16 发布
阅读量6.6k 收藏 15
点赞数 5
分类专栏： pytorch faster-rcnn faster-rcnn.pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/e01528/article/details/83618169
版权

目录

1.  1*1 FC层

2.  anchor_target_layer_>rpn_data                              ​

     3. 二分类 softmaxloss

     4. 回归损失 rpn_loss_bbox

5. softmax 二分类分类概率

6. prosal_layer_>rpn_rois 2000个rpn_rois

7. proposal_target_layer_>roi_data 128个rois

 

想要复现faster rcnn，理解rpn是必备的，而明白其输入输出又是复现的第一步。

以FCN中rpn的caffe模型来讲解rpn的过程。

首先是数据读入操作，假设输出的data是1*3*600*1000，im_info是1*3[h w  imscale]，gt_boxes是1*5[ymin xmin ymax xmax，class]，后面的所有维度都是以这个假设为前提。

这里写图片描述

faster rcnn中 softmax，softmax loss和cross entropy的讲解

总体理解：

1.  1*1 FC层

 1个共享卷积层之后，紧跟着RPN结构。最开始是一个512*3*3的conv+relu。

下面紧跟着一个18*1*1，一个36*1*1的全连接功能的层。

2.  anchor_target_layer_>rpn_data

 先说cls这边。rpn_data层（anchor_target_layer类型的层），输入 ，输出分别为以下

  bottom: 'rpn_cls_score'#[1,2*k,H,W] 类似与fc层的输出
  bottom: 'gt_boxes'
  bottom: 'im_info'#原图c h w，因为坐标回归的是原图坐标的xy偏移，需要用hw 过滤不在图片内部的
  bottom: 'data'
  K表示9个anchor，3*3，HW表示的是rpn第一层卷积的特征图的宽高。
  top: 'rpn_labels' # [1,1,k*H,W] 生成rpn的标签，前景为1，背景为0，然后给softmaxLoss层，
  top: 'rpn_bbox_targets'#[1,4*K,H,W] smooth_l1_loss输入
  top: 'rpn_bbox_inside_weights'#[1,4*K,H,W]smooth_l1_loss输入
  top: 'rpn_bbox_outside_weights'#[1,4*K,H,W] smooth_l1_loss输入

   将 20000 多个候选的 anchor 选出 256 个 anchor 进行分类和回归位置。选择过程如下：

  • 对于每一个 ground truth bounding box (gt_bbox)，选择和它重叠度（IoU）最高的一个 anchor 作为正样本

  • 对于剩下的 anchor，从中选择和任意一个gt_bbox重叠度超过 0.7 的 anchor，作为正样本，正样本的数目不超过 128 个。

  • 随机选择和gt_bbox重叠度小于 0.3 的 anchor 作为负样本。负样本和正样本的总数为 256。例如：正样本100负样本156

对于每个 anchor, gt_label 要么为 1（前景），要么为 0（背景），而 gt_loc 则是由 4 个位置参数 (tx,ty,tw,th) 组成，这样比直接回归座标更好。

                                     

3. 二分类 softmaxloss

求二分类的loss的时候，softmaxloss，输入是rpn_lables【自己生成的rpn标签】+rpn_cls_scole【预测的】_>reshape【二分类，每一个特征图上的点都是一个二分类，reshape的作用是将格式转换成和rpn_lables的一样】

4. 回归损失 rpn_loss_bbox

输入rpn_data 生成的rpn的bbox相关信息，与fc层rpn_bbox_pred【预测的】一起作为输入，进行损失计算。

两个输入的维度都是[1,4*k,H,W]，不需要reshape操作。

5. softmax 二分类分类概率

输入[1,2,k*H,W]：rpn_cls_scole【预测的】_>rpn_cls_prob_reshape后的结果

输出[1,2,k*H,W]：得到所有anchor的二分类的概率。

6. prosal_layer_>2000个rpn_rois

首先需要softmax的结果，进行reshape[1,2,k*H,W]_>[1,2*k,H,W],这样与其他的输入是类似的。

输出：  rpn_rois [1,5]

  bottom: 'rpn_cls_prob_reshape'#[1,18,H,W]每个框经过softmax对应的概率
  bottom: 'rpn_bbox_pred'#[1,36,H,W]预测的框运算loss，反向传播，越来越准
  bottom: 'im_info'
  top: 'rpn_rois' #[1,5]

  • 对于每张图片，利用它的 feature map， 计算 (H/16)× (W/16)×9（大概 20000）个 anchor 属于前景的概率，以及对应的位置参数【softmax二分类概率】

  • rpn_cls_prob_reshape始终连存储的是每个anchor 的偏移。

  • 选取概率较大的 12000 个 anchor

  • 利用回归的位置参数，修正这 12000 个 anchor 的位置，得到 rpn_rois

  • 利用非极大值（(Non-maximum suppression, NMS）抑制，选出概率最大的 2000 个 rpn_rois

7. proposal_target_layer_> roi_data 128 个RoIs

  bottom: 'rpn_rois'[1,5]
  bottom: 'gt_boxes'[1,4]
  top: 'rois'[1,5,1,1]
  top: 'labels'[1,1,1,1]
  top: 'bbox_targets'[1,8,1,1]存储的是anchors和最高重叠的gt的（
   x*-xa）/wa,(y*-ya)/ha,log(w*/wa),log(h*/hg),*为gt。
  top: 'bbox_inside_weights'[1,8,1,1]被抽中的正类为1，其他为0；
  top: 'bbox_outside_weights[1,8,1,1]外部权重，目前负例的外部权重=正例的外部权重=np.ones((1, 4)) * 1.0 /

RPN 会产生大约 2000 个 RoIs，这 2000 个 RoIs 不是都拿去训练，而是利用ProposalTargetCreator 选择 128 个 RoIs 用以训练。选择的规则如下：

  • RoIs 和 gt_bboxes 的 IoU 大于 0.5 的，选择一些（比如 32 个）

  • 选择 RoIs 和 gt_bboxes 的 IoU 小于等于 0（或者 0.1）的选择一些（比如 128-32=96 个）作为负样本

为了便于训练，对选择出的 128 个 RoIs，还对他们的gt_roi_loc 进行标准化处理（减去均值除以标准差）

对于分类问题, 直接利用交叉熵损失. 而对于位置的回归损失, 一样采用 Smooth_L1Loss, 只不过只对正样本计算损失. 而且是只对正样本中的这个类别 4 个参数计算损失。举例来说:

  • 一个 RoI 在经过 FC 84 后会输出一个 84 维的 loc 向量. 如果这个 RoI 是负样本, 则这 84 维向量不参与计算 L1_Loss

  • 如果这个 RoI 是正样本, 属于 label K, 那么它的第 K×4, K×4+1 ，K×4+2， K×4+3 这 4 个数参与计算损失，其余的不参与计算损失。

 

其中prosal layer里的输入错了，rpn_bbox_pred是回归的偏移。不是预测的框。

RPN网络，RPN网络以一个3*3的卷积核，pad=1，stride=1的512个卷积核的卷积层开始，输入是res4f层的输出，res4f层的输出即conv4_x最后的输出。该rpn_conv/3*3层的输出是1*512*38*63。

这里写图片描述

然后是分类层和回归层，分类层采用1*1的卷积核，pad=0，stride=1的18（2(back ground/fore ground)*9(anchors)）个卷积核的卷积层，分类层的输出是1*18*38*63。回归采用1*1的卷积核，pad=0，stride=1的36（4*9(anchors)）个卷积核的卷积层，回归层的输出是1*36*38*63。

这里写图片描述

Reshape层对分类层的结果做了一次维度调整，从1*18*38*63变成1*2*342*63，后面的342*63就代表该层所有anchor的数量。

这里写图片描述

anchor_target_layer

input：最开始读取的数据得到rpn的label和target。

输出：rpn_labels为1*1*342*63，rpn_bbox_targets为1*36*38*63，rpn_bbox_inside_weights为1*36*38*63，rpn_bbox_outside_weights为1*36*38*63。

这里写图片描述

损失函数如下：分类的损失采用SoftmaxWithLoss，输入是reshape后的预测的类别score(1*2*342*63)和真实的label(1*1*342*63)。回归的损失采用SmoothL1Loss，输入是rpn_bbox_pred(1*36*38*63)即所有anchor的坐标相关的预测，rpn_bbox_targets(1*36*38*63)，rpn_bbox_inside_weights(1*36*38*63)，rpn_bbox_outside_weights(1*36*38*63)。

这里写图片描述

然后是ROI Proposal，先用一个softmax层算出概率（1*2*342*63），然后再reshape到1*18*38*63。

这里写图片描述

然后是生成proposal，维度是1*5。

这里写图片描述

这一层生成rois（1*5*1*1），labels（1*1*1*1），bbox_targets（1*8*1*1），bbox_inside_weights 
（1*8*1*1），bbox_outside_weights（1*8*1*1）。

这里写图片描述

至此RPN网络结束。

 

 

 

 

Snoopy_Dream
关注
专栏目录
捋一捋pytorch官方的FasterRCNN代码
qq_45583898的博客
08-29 669
原文：https://zhuanlan.zhihu.com/p/145842317参考：http://t.csdn.cn/idjzU。
手把手教你如何自制目标检测框架（从理论到实现）
`or 1 or 不正经の泡泡
08-01 3330
好久没有冒泡了，是时候来波大的了，也是由于特殊需求，不得不重启关于目标检测的一些内容。既然如此，那么刚好把以前要做的yolo目标检测相关的代码进行复现，并且好好把这个目标检测说清楚一点儿。此外本文基于Pytorch进行编写，有空后期tensorflow也可以试试。GitHub水项目之快速上手YOLOV5YOLOV5参数设定与模型训练的坑点一二三YOLOV1论文小整理嘿~全流程带你基于Pytorch手撸图片分类“框架“–HuClassify那么本文两个目标一.理论搞清楚什么是目标检测。......
RPN 解析
lanran2的博客
01-12 10万+
RPN全称是Region Proposal Network，Region Proposal的中文意思是“区域选取”，也就是“提取候选框”的意思，所以RPN就是用来提取候选框的网络； 1. RPN的意义 RPN第一次出现在世人眼中是在Faster RCNN这个结构中，专门用来提取候选框，在RCNN和Fast RCNN等物体检测架构中，用来提取候选框的方法通常是Selective Se
Faster-Rcnn
qq_44836316的博客
05-09 1779
Faster-Rcnn原理（学习笔记） 一、从输入到输出 1.1输入：一张图片 输入尺寸：作为输入放入网络训练的话需要限制图片的大小，Faster-Rcnn对于输入图像的大小限制规则是：限制最小边为600，最大边为1000，对于输入图像优先考虑最大边的限制。测试时不需要。 1.2处理过程： 1.首先，使用一组covn(卷积)+relu+pooling(池化) 提取输入图像的特征图。（ 原理看2.1） 2.之后，使用RPN网络（区域生成网络）对上一步生成的特征图进行处理，在特征图上标多个框，通过RP
Faster RCNN 网络分析及维度分析
David's Tweet
10-28 2024
佳文参考：《Faster RCNN 学习笔记 - 勇者归来 - 博客园》 《Faster-Rcnn中RPN（Region Proposal Network）的理解》 一、网络流图 二、维度分析 ...
【目标检测】|fasterRCNN ROI Pooling原理 RPN输出
qq_35608277的博客
06-09 1071
目标检测architecture通常可以分为两个阶段： （1）region proposal：给定一张输入image找出objects可能存在的所有位置。这一阶段的输出应该是一系列object可能位置的bounding box。这些通常称之为region proposals或者 regions of interest（ROI），在这一过程中用到的方法是基于滑窗的方式和selective search。 （2）final classification：确定上一阶段的每个region proposal是否属于目
（三）深度学习实战 | 基于PyTorch的RPN实现
Skies_的博客
07-29 2174
深度学习实战 | 基于PyTorch的RPN实现
【PyTorch实战演练】RPN(Region Proposal Networks)候选区域网络算法解析（附PyTorch代码）
最新发布
m0_49963403的博客
01-13 3258
本文基于论文Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks对RPN候选区域网络进行解析说明，并基于PyTorch库对RPN网络进行编程。
阿里天池--宫颈癌检测（基于fastRCNN）新手初次尝试
abyss_miracle的博客
11-28 5459
阿里天池–宫颈癌检测 官方说明： 赛题背景 大赛旨在通过提供大规模经过专业医师标注的宫颈癌液基薄层细胞检测数据，选手能够提出并综合运用目标检测、深度学习等方法对宫颈癌细胞学异常鳞状上皮细胞进行定位以及对宫颈癌细胞学图片分类，提高模型检测的速度和精度，辅助医生进行诊断。 赛题数据 本次大赛提供数千份宫颈癌细胞学图片和对应异常鳞状上皮细胞位置标注，数据为kfb格式，需要使用大赛指定SDK读取。每张数...
基于深度强化学习的车道线检测和定位（Deep reinforcement learning based lane detection and localization） 论文解读+代码复现
Wincher's blog
12-17 7993
之前读过这篇论文，导师说要复现，这里记录一下。废话不多说，再重读一下论文。 注：非一字一句翻译。个人理解，略有偏颇。 基于深度强化学习的车道检测和定位 官方源码下载：https://github.com/tuzixini/DQLL 论文原文：https://www.sciencedirect.com/science/article/pii/S0925231220310833 摘要 基于深度学习的车道检测方法只检测带有粗略边框的车道线，而忽略了特定曲线车道的形状。针对上述问题，本文将深度强化学习引入粗车道检测
Siamese-RPN-pytorch：这是使用pytorch的Siamese-RPN的重新实现，这是CVPR2018的亮点
02-06
连体-RPN-火炬 介绍 我的同学已提供。 如有任何疑问，请随时与我们联系。 这是带有PyTorch的对的重新实现，已在CVPR2018上接受。 Code_v1.0可用于转换，您应该将数据集更改为VOT格式（左上角和w，h）。 如果序列中有中断，则使用“ 0,0,0,0”替换该帧的信息。 数据集树 -root/class1/img1.jpg /... /imgN.jpg /groundtruth.txt 引文 Paper: @InProceedings{Li_2018_CVPR, author = {Li, Bo a
深度学习顶级算法详解03 Faster-Rcnn之RPN层详解
09-21
3深度学习顶级算法详解03 Faster-Rcnn之RPN层详解23:47
目标检测常用算法原理+实践精讲---学习笔记以及人脸检测相关问题总结
聪哥965
02-03 2530
文章目录1.传统目标检测方法1.1 Viola-Jones (人脸检测)1.2 HOG+SVM (行人检测、Opencv实现)1.3 DPM (物体检测)2.One stage2.1 Yolo体系变化2.2 YOLO网络结构是怎样的？2.3 YOLO的输入、输出、损失函数分别是什么？2.4 YOLO怎样预测？2.5 YOLOv3不使用Softmax对每个框进行分类的原因？2.6 YOLOv3的架构2.7 为什么SSD对小目标检测效果不好?3.Two stageFaster R-CNNFaster RCNN的
PASCAL VOC数据集分析
热门推荐
girafffeee的博客
10-09 13万+
PASCAL VOC数据集分析 PASCAL VOC为图像识别和分类提供了一整套标准化的优秀的数据集，从2005年到2012年每年都会举行一场图像识别challenge。 本文主要分析PASCAL VOC数据集中和图像中物体识别相关的内容。 在这里采用PASCAL VOC2012作为例子。下载地址为：点击打开链接。（本文中的系统环境为ubuntu14.04） 下载完之后解压，可以在
基于pytorch的Faster RCNN中RPN实现
weixin_44422920的博客
03-30 676
RegionProposalNetwork 在Faster RCNN中第一阶段是由RegionProposalNetwork生成anchors，并通过筛选得到proposal。代码中详细注释了每一部分的过程。 import torch import torchvision from torch import nn, Tensor from torch.nn import functional as F import math from typing import Dict def smooth_l1_l
Faster RCNN 中的RPN解析
陶将的博客
03-12 886
Faster RCNN 中的RPN解析 文章目录Faster RCNN 中的RPN解析Anchor分类bounding box regressionproposal参考 RCNN和Fast RCNN中使用Selective Search方法找出所有的候选框，SS方法非常耗时。Faster RCNN中提出RPN(region proposal network)替代SS方法提取候选框，并提出anchor的概念。虽然目前anchor free的各种算法层出不穷，但是anchor的思想也曾引领风潮。 RPN是一个轻
RPN架构及其PyTorch实现
weixin_44650248的博客
10-25 1509
RPN（Region Proposal Network）引言RPN架构RPNAnchor 生成Proposals 的选择loss 的计算RPN架构及其Pytorch实现基于RPN产生~20k个候选框~20k个候选框(1)：RPN~20k个候选框(2)：Fast RCNNRPN主体部分RPN部分的损失函数 引言 由于 RPN架构 RPN Anchor 的生成方法 如何选择 anchor 做为 proposals loss 的计算， 在计算 loss 之前需要从 anchor 中选择正负样本 其实RPN本
Faster-RCNN物体检测---（2）网络的多输入多输出
奔跑的小仙女
07-23 1382
核心流程： 多输入多输出的练习网络搭建步骤： 多输入多输出的练习任务 pred：是网络在学习中的预测，不是训练后的。 Ture：样本 二者为了算loss 多输入多输出的要点： yield惰性生成器： 打印可视化模块： from keras.utils.vis_utils import plot_model plot_model(model=mode,to _file='testmode...
Faster-RCNN（二）之RPN层
xue_csdn的博客
08-06 1282
RPN层是Faster-RCNN网络的特有层，全称为：区域生成网络（Region Proposal Networks），用来提取供后边检测的区域。它替代了Fast-RCNN的selective search，大大提高提取区域框的速度和精度。 Faster-RCNN网络结构图如下（图片仍然来源于 https://www.cnblogs.com/zyly/p/9247863.html） 图1 RPN...
pytorch fasterrcnn with fpn
12-28
PyTorch Faster R-CNN with FPN是一种在PyTorch框架下使用的目标检测模型，它使用了Faster R-CNN和FPN（Feature Pyramid Network）两种先进的技术。 Faster R-CNN是一种经典的目标检测模型，它包括了两个阶段：首先使用卷积神经网络提取图像特征，然后通过Region Proposal Network（RPN）来生成候选区域。FPN则是一种用于处理多尺度特征的网络结构，能够有效地提高目标检测的性能。 PyTorch Faster R-CNN with FPN结合了这两种技术，可以更准确地检测图像中的目标。它能够处理多尺度的特征和目标，使得在不同尺度下的目标都能够被有效地检测到。此外，它还能够通过使用更多的金字塔层级来提高目标检测的准确率和召回率。 PyTorch Faster R-CNN with FPN在训练和推理阶段都能够高效地运行，并且具有很强的可扩展性，适合处理各种不同类型的目标检测任务。通过使用PyTorch框架，它能够很好地与其他深度学习模型进行集成，方便用户进行模型的搭建、训练和部署。 总之，PyTorch Faster R-CNN with FPN是一种高效、准确的目标检测模型，可以帮助用户在各种复杂的场景下进行目标检测任务。
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值