R-CNN系列算法介绍

博客中图片来自霹雳吧啦Wz

R-CNN

主干使用VGG-16,227 * 227图片大小

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dQpCtwXC-1666427526606)(D:\Program Files\Typora\RCNN图片\image-20220407152931257.png)]

步骤:

​ 1、一张图片生成1-2k个候选区域(ssh方法,select search)

​ 2、对每个候选区域,使用深度网络提取特征

​ 3、特征送入每一类的SVM分类,判别是否属于该类

​ 4、使用回归器细修正候选框位置

生成候选区域

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5cIY2DlH-1666427526608)(D:\Program Files\Typora\RCNN图片\image-20220407174451079.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jLiF9uXB-1666427526609)(D:\Program Files\Typora\RCNN图片\image-20220407174538707.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-i32Uh2nl-1666427526610)(D:\Program Files\Typora\RCNN图片\image-20220407183737430.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-afMkFfO9-1666427526615)(D:\Program Files\Typora\RCNN图片\image-20220407184347559.png)]

IOU

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YoNncpCc-1666427526620)(D:\Program Files\Typora\RCNN图片\image-20220407184044906.png)]

保留最高阈值框,,计算其他框与最高值iou,删除高于设定阈值的框

框架

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7A5iG3Gk-1666427526623)(D:\Program Files\Typora\RCNN图片\image-20220407184746614.png)]

Fast-RCNN

主要流程

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-muF56DJZ-1666427526625)(D:\Program Files\Typora\RCNN图片\image-20220407185434440.png)]

1、一张图生成1-2 k候选区域

2、将整个图送入网络得到特征图,将候选框投影到特征图,得特征矩阵

3、将特征矩阵通过ROI pool缩放到7 *7 特征图,将特征图展平,全连接得到预测结果。

获取图像特征的区别

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-y4lEeNtx-1666427526627)(D:\Program Files\Typora\RCNN图片\image-20220407190229922.png)]

ROI pool

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jr6IMerI-1666427526628)(D:\Program Files\Typora\RCNN图片\image-20220407191710520.png)]

不限制输入图片大小

SVM分类器

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bD1ftH7b-1666427526629)(D:\Program Files\Typora\RCNN图片\image-20220407191912760.png)]

并联两个全连接层,1目标概率预测,2边界框回归参数的预测

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nX9Mo0nK-1666427526631)(D:\Program Files\Typora\RCNN图片\image-20220407192142027.png)]

损失函数,交叉熵损失

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-m7gEOnM4-1666427526633)(D:\Program Files\Typora\RCNN图片\image-20220407192324000.png)]

分类损失用的交叉熵损失函数

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FomxiBr2-1666427526634)(D:\Program Files\Typora\RCNN图片\image-20220407192516530.png)]

1、多分类,用softmax;

2、二分类,用sigmoid输出

Faster-RCNN

z主干同样使用VGG-16

主要流程

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-105ehOAk-1666427526637)(D:\Program Files\Typora\RCNN图片\image-20220407214033126.png)]

1、整个图像输入网络得到特征图

2、使用RPN(region proposal network)结构生成候选框,候选框投影到特征图得特征矩阵

3、特征矩阵通过ROI pool得7 *7 特征图,进行展平全连接得预测结果

可将Faster-rcnn看成RPN+fast-RCNN

RPN(region proposal network)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0Zo7gbJJ-1666427526638)(D:\Program Files\Typora\RCNN图片\image-20220407214737443.png)]

在特征图使用滑动窗口,分别输出目标概率2 k,k是k个anchor,分别为背景和目标的概率;边界框回归参数4k(x,y,w,h),256是zf网络channel,VGG是512深度;通过滑动窗口提取候选框,之前都是用ss算法

anchor大小

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZAbtOrZD-1666427526639)(D:\Program Files\Typora\RCNN图片\image-20220407215407073.png)]

每个面积大小有3种尺度,每个中心点对应9个anchor

定义正负样本

1、正样本:1anchor与GT的IOU大于设定0.7,为正样本

​ 2,若anchor都没超过0.7,找最大IOU的anchor,认为它为正样本

2、负样本:anchor与GT的IOU小于0.3为负样本

3、除此之外的anchor丢弃

损失函数

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sqdrte0z-1666427526641)(D:\Program Files\Typora\RCNN图片\image-20220407220430073.png)]

训练方法

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HEy2pUnY-1666427526643)(D:\Program Files\Typora\RCNN图片\image-20220407221248893.png)]

1、论文采用分布训练,先用ImageNet预训练网络参数,并开始单独训练RPN网络。

自己代码中直接PRN+fast-RCNN联合训练

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zS5DUWke-1666427526645)(D:\Program Files\Typora\RCNN图片\image-20220407221703059.png)]

  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值