三.每周一学----目标检测-R-CNN

最新推荐文章于 2022-05-11 11:42:43 发布
最新推荐文章于 2022-05-11 11:42:43 发布
阅读量252 收藏
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45782891/article/details/105747951
版权

前言

传统的目标检测方法由于滑窗效率低，特征不够鲁棒的原因限制了目标检测的发展，而深度学习的目标检测方法致力于解决这些问题，深度学习目标检测方法分为两个阶段（one-stage和two-stage）这个在我的前一篇博客有讲到。
这次，我们就先学习R-CNN。

R-CNN论文
《Rich feature hierarchies for accurate object detection and semantic segmentation》2014

R-CNN测试过程

  1. 输入一张图像，采用 selective search（选择性搜索）法提取约2000个Region Propasal。
  2. 先在每个建议框周围加上16个像素值为Region Propasal像素平均值的边框，在直接变形为227*227的大小。
  3. 先将所有Region Propasal减去该建议框像素平均值后，再依次将每个227×227的Region Propasal输入至AlexNet CNN网络，获取4096维的特征，2000个建议框的CNN特征组合成2000*4096维特征矩阵。
  4. 将2000×4096维特征与20个SVM组成的权值矩阵4096×20相乘，获得2000*20维矩阵表示每个Region Propasal是某个物体类别的得分。
  5. 分别对上述2000*20维矩阵中每一列即每一类进行非极大值抑制，剔除重叠Region Propasal，得到该列即该类中得分最高的一些Region Propasal。
  6. 分别用20个回归器对上述20个类别中剩余的Region Propasal进行回归操作，最终得到每个类别的修正后的得分最高的bounding box。

网络框架
在这里插入图片描述

R-CNN详细解释

1.selective search

因为selective search在目标检测中比较重要，这里作者将详细的理解一下

  • 首先将图像进行分割得到若干区域，组成区域集合S,这是一个初始化的集合
  • 然后利用颜色，纹理，尺寸和空间交叠等特征，计算区域里每个相邻区域的相似度
  • 找出相识度最高的两个区域，将其合并为新集并删除原来的两个对应子集
  • 重复以上的迭代过程，直到最开始的集合S为空，得到的分割结果和候选区域边界就是初始框

具体操作流程

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
例：如上图所示，R1和R2的的相似度最大然后合并为一个新的区域R(n+1),并删除R1和R2，然后不断的重复，最后得到最有可能涵盖物体的框，也就是Region Propasal

在这里插入图片描述

这篇博客中详细的介绍了selective search，同学们若想进一步解selective search，可以去看看
selective search

2.为什么要变成227*227

由于CNN的需要统一尺寸的输入，因此这里还需要将候选区域进行变形（AlexNet是227*227）

如何实现

  • 各向异性缩放： 不管当前区域的长宽比，直接resize，结果可能会扭曲原图
    padding处理（先添加一定尺寸的边界）
    上面的padding=0，下面的padding=16。在这里插入图片描述

  • 各向同性缩放： 1.直接在原始图中做边界扩展，如果到了图像边缘则用区域的均值做填充
    2.在区域边缘使用固定背景颜色做填充

哈哈哈！AlexNet CNN 这个内容我看了半天，也不是很清楚，在此就不向大家过多的解释了，以后再慢慢学习，大家可以自行去百度理解。

3.分类器SVM

是一类按监督学习（supervised learning）方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面（maximum-margin hyperplane）。
简单来说就是
SVM 的目的就是想要画出一条线，以“最好地”区分这两类点，以至如果以后有了新的点，这条线也能做出很好的分类
在这里插入图片描述
如上图就是红线效果好，黑线效果一般，绿线效果不好
这里也推荐一篇关于SVM的博客SVM写的十分详细，大家可以去学习一下

这样，因此我们对第四步的内容就有更好的理解

4.非极大值抑制

在第四步过后，我们会遇到同一个目标被多个建议框包围的情况，这是就要用到非极大值抑制
简单来说，就是只保留一个最优的框，于是我们就要用到非极大值抑制，来除去这些冗余的框
在这里插入图片描述
步骤

  1. 将所有框的得分排序，选中最高分及其对应的框
  2. 从每列最大的得分Region Propasal 'a’开始，分别与该列后面的得分Region Propasa 'b’进行IoU计算,如果和当前最高分框的重叠面积(IOU)大于一定阈值，我们就将框删除
  3. 重复以上步骤，直到遍历完所有Region Propasals

最后得到
在这里插入图片描述

5.边框回归（Bounding-box regression）

举个例子
在这里插入图片描述
如图所示

红色的框为Selective Search提取的Region Proposal，我们需要对红色的框进行调整，然后使之不断和绿色的框而契合，这样目标检测中的定位就会更加的准确，Bounding-box regression 就是用来调整这个窗口的。

简单来理解就是，我们用一般使用四维向量(x,y,w,h) 来表示窗口， 分别表示窗口的中心点坐标和宽高。 如上图，红色的框 P 代表原始的Proposal, 绿色的框 G 代表目标的 Ground Truth， 我们的目标是寻找一种关系使得输入原始的窗口 P 经过映射得到一个跟真实窗口 G 更接近的回归窗口G^。
如何让红色窗口变成绿色窗口呢
就是 平移+尺度放缩
这篇博客详细的介绍了如何实现 Bounding-box regression ，大家可以去看看

6.R-CNN优缺点

优点

  • 使用了Selective search，大大提高了候选区域的筛选速度
  • 通过边框回归模型进行校准，减少图像中的背景空白，得到更精确的定位

缺点

  • 候选框的选择比较耗时，很难做到实时性
  • 分步骤进行，过程繁琐（是采用传统目标检测的框架）
  • 重叠区域特征重复计算
    例
    在这里插入图片描述
    我们对蓝色区域就会产生两次的重复CNN提取，让计算重复

小结

这次我们就先学到这里，由于，是刚刚接触和学习这块内容，还有许多细节没有解释清楚，请大家见谅，如果大家有什么问题或者建议可以在评论里留言，感谢大家的观看。

这里推荐两个视频关于R-CNN的这个小姐姐讲的很好哦
这个也很详细视频
流程图借鉴

黑依
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Rotated_Faster_Rcnn
fei_YuHuo的博客
07-19 1803
rotated_faster_rcnn结构代码解析
Oriented R-CNN for Object Detection(定向R-CNN的目标检测)
左右-HPU
05-17 1137
图1为，生成定向提案的不同方案的比较。(a)旋转RPN密集放置不同尺度、比例、角度的旋转锚。(b) RoI Transformer+从水平RoI中学习定向提案。它包括RPN、RoI对齐和回归。(c)我们以建议为导向的RPN以几乎没有成本的方式产生高质量的建议。定向RPN的参数数约为RoI Transformer+的1/3000，旋转RPN的1/15。它在每个位置放置54个不同角度、尺度和宽高比(3个scales×3 ratios×6角度)的锚点。
rotated rpn（RRPN）解决旋转不变性特征
weixin_51015047的博客
11-10 1726
成就 第一个基于RPN架构引入旋转候选框实现任意方向的场景文本检测。基于旋转的anchor得到旋转ROI，然后提取相应特征 为什么提出旋转的提议框呢？ 因为水平提议框在检测倾斜文本的时候会带有一些冗余（非文本部分）。对比图如下，左：原图；中：水平提议框；右：旋转提议框 模型结构 整体框架是和faster rcnn一样的，只是我们的RRPN产生带角度的候选区域； 然后我们RRPN得到的候选区域是旋转矩形，而传统的RoI池化只能处理与坐标轴平行的候选区域，因此作者提出了RRoI Pooling用于RRPN中的
每周一篇 文献阅读—pape8 （实时语义分割MSFNet）
XX|XX的博客
11-25 646
Real-Time Semantic Segmentation via Multiply Spatial Fusion Network主要方法介绍实验结果 文章链接：https://arxiv.org/pdf/1712.00213.pdf 主要方法介绍 文章主要贡献： 提出了一个多特征融合模块(MFM)，该模块使用设计好的空间感知池化SAP来扩大感受野，并且在保持较小的计算成本的同时恢复丢失的空...
旋转框检测方法综述：RotateAnchor系列
zandaoguang的博客
08-26 1万+
↑ 点击蓝字关注极市平台作者丨emiya@知乎来源丨https://zhuanlan.zhihu.com/p/105881332极市导读本文主要介绍了RRPN、R3Det、ROITr...
基于Faster R-CNN和增量学习的车辆目标检测
05-06
针对车辆目标检测中存在的小目标的错检漏检、截断式待检目标的漏检和重叠遮挡待检目标的漏检等问题，提出一种基于增量学习数据集的车辆目标检测方法，该方法与Faster R-CNN算法结合对车辆目标实现检测和分类....
基于Keras实现的Faster-R-CNN安全帽检测模型源码
03-25
项目概述：本项目是一个基于Keras框架实现的Faster R-CNN安全帽检测模型，主要用于识别图像中的...本项目以Faster R-CNN算法为基础，针对安全帽这一特定目标进行高效的检测与识别，旨在为安全监控领域提供技术支持。
基于tensorflow搭建Faster R-CNN实现目标检测任务 有代码 有数据 可直接运行。--数据
06-06
基于tensorflow搭建Faster R-CNN实现目标检测任务 有代码 有数据 可直接运行。 Faster R-CNN 实现目标检测 tensorflow 基于tensorflow搭建Faster R-CNN实现目标检测任务 有代码 有数据 可直接运行。 Faster R-CNN ...
pytorch实现R-CNN目标检测项目
03-10
本文档实现了R-CNN算法进行目标检测的完整过程，包括 数据集创建 卷积神经网络训练 分类器训练 边界框回归器训练 目标检测器实现 本仓库最终实现一个汽车类别目标检测器 模块构成 区域建议生成：selectivesearch...
基于Python的Siam R-CNN视觉目标跟踪两阶段重检测器设计源码
最新发布
04-08
Siam R-CNN - 基于Python开发的视觉目标跟踪两阶段重检测器设计源码，包含26个文件，如.py、.gitignore、.LICENSE、.md、.txt等。该项目提供了一种高效的视觉目标跟踪解决方案，通过两阶段重检测器技术，实现对目标...
【对抗攻击论文笔记】Decision-Based Adversarial Attack With Frequency Mixup
ji_meng的博客
05-11 1499
今天分享的论文是来自IEEE的 Decision-Based Adversarial Attack With Frequency Mixup，首先来看一下这篇论文的motivation 先来做个简单介绍吧，我们常说的对抗攻击分为黑盒攻击和白盒攻击，黑盒攻击可以分为基于迁移的攻击，和基于查询的攻击。基于查询的攻击一般依赖于替代模型，并且需要访问训练数据。基于查询的攻击还可以进一步分为基于分数的攻击和基于决策的攻击。在给定输入的情况下，目标模型计算每个可用类别的概率，并将概率最高的类别(即TOP-1概率)作为最
NIPS 2016 -- 增量Boosting CNN 用于面部动作单元识别
hestendelin的专栏
09-11 912
本文是机器学习领域顶级会议 NIPS 2016 所接收的论文中深度学习相关的一篇论文。这篇论文的作者来自美国的南卡莱罗纳大学 （https://cse.sc.edu/~m...
基于MMRotate训练自定义数据集 做旋转目标检测 2022-3-30
热门推荐
qq_43581224的博客
03-30 1万+
本文目录简述1.MMrotate下载2.环境安装3.自定义数据集制作3.1 roLabelImg 打标签3.2 生成DOTA数据集格式的标签3.3 数据集裁剪（split）4.修改配置文件5.训练并测试 简述 MMRotate 是一款基于 PyTorch 的旋转框检测的开源工具箱，是 OpenMMLab 项目的成员之一。里面包含了rcnn、faster rcnn、r3det等各种旋转目标的检测模型，适合于遥感图像领域的目标检测。 1.MMrotate下载 MMrotate包下载：下载链接 目录结构如下
每周一篇 文献阅读—paper2
XX|XX的博客
08-01 1953
肺结节检测，假阳性减少和分割代表了胸部CT图像计算机分析中最常见的三项任务。已经提出了针对每个任务的方法，其中基于深度学习的方法最近非常受青睐。然而，训练深度学习模型以分别解决每个任务可能是次优资源密集型并且没有特征共享的益处。在这里，我们提出了一种新的端到端3D深度卷积神经网络DCNN，称为NoduleNet，以多任务方式联合解决结节检测，误报减少和结节分割。为了避免不同任务之间的摩擦并鼓励功能多样化，我们结合了两个主要的设计技巧1用于结节检测和误报减少的解耦特征图，以及2个用于提高结节分割精度的分割细化
​ICCV 2021丨Oriented R-CNN：面向旋转目标检测的 R-CNN
阿木寺的博客
08-31 3290
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：中国图象图形学学会CSIGOriented R-CNN：有向目标检测谢星星,程塨,王家宝,...
每周一篇 文献阅读—paper 5
XX|XX的博客
08-22 506
A sparse annotation strategy based on attention-guided active learning for 3D medical image segmentation 译文摘要 文章链接 译文 摘要 三维图像分割是医学图像处理中最重要和最普遍的问题之一。它为准确的疾病诊断，异常检测和分类提供详细的定量分析。目前，深度学习算法被广泛应用于医学图像分割，大多数...
Faster R-CNN详解
kk123k的博客
01-20 9854
自R-CNN以及Fast R-CNN的出现之后，Fast R-CNN仍然有许多缺点，即选择性搜索找出所有的候选框这个也非常耗时，因此性能存在瓶颈，为了解决这个问题，Faster R-CNN就出现了。 解决：加入一个提取边缘的神经网络，也就说找到候选框的工作也交给神经网络来做了。 做这样的任务的神经网络叫做Region Proposal Network(RPN)。 基本做法： 　　• 将RPN放...
Faster R-CNN整体介绍及部分细节讲解
Ema1997的博客
06-29 1246
RPN（Region Proposal Network） 图→CNN→候选框+检测分数 在特征图上滑动 anchor box只依赖单一尺寸的图片和特征图，用单一尺寸的filters（用单一尺寸的特征图，训练针对不同比例、大小的分类器，后面会有讲解） RPN的正例：a.和真值框IoU最高的anchor b.和任意真值框IoU大于0.7的anchor 负例：与所有真值框的IoU均小于0.3 损失函数： i：mini-batch中anchor索引 pi：第i个anchor是目标的概率 pi*：真值标签（如果.
文本检测最近文章检索（2）
weixin_44929101的博客
04-20 747
期刊 1）Rotated cascade R-CNN: A shape robust detector with coordinate regression 旋转叶栅R-CNN：具有坐标回归的形状鲁棒检测器 Yixing Zhu; Chixiang Ma; Jun Du; National Engineering Laboratory for Speech and Language Informa...
1. ARIMA 2. SARIMA 3. VAR 4. Auto-ARIMA 5. Auto-SARIMA 6. LSTM 7. GRU 8. RNN 9. CNN 10. MLP 11. DNN 12. MLP-LSTM 13. MLP-GRU 14. MLP-RNN 15. MLP-CNN 16. LSTM-ARIMA 17. LSTM-MLP 18. LSTM-CNN 19. GRU-ARIMA 20. GRU-MLP 21. GRU-CNN 22. RNN-ARIMA 23. RNN-MLP 24. RNN-CNN 25. CNN-ARIMA 26. CNN-MLP 27. CNN-LSTM 28. CNN-GRU 29. ARIMA-SVM 30. SARIMA-SVM 31. VAR-SVM 32. Auto-ARIMA-SVM 33. Auto-SARIMA-SVM 34. LSTM-SVM 35. GRU-SVM 36. RNN-SVM 37. CNN-SVM 38. MLP-SVM 39. LSTM-ARIMA-SVM 40. LSTM-MLP-SVM 41. LSTM-CNN-SVM 42. GRU-ARIMA-SVM 43. GRU-MLP-SVM 44. GRU-CNN-SVM 45. RNN-ARIMA-SVM 46. RNN-MLP-SVM 47. RNN-CNN-SVM 48. CNN-ARIMA-SVM 49. CNN-MLP-SVM 50. CNN-LSTM-SVM 51. CNN-GRU-SVM 52. ARIMA-RF 53. SARIMA-RF 54. VAR-RF 55. Auto-ARIMA-RF 56. Auto-SARIMA-RF 57. LSTM-RF 58. GRU-RF 59. RNN-RF 60. CNN-RF 61. MLP-RF 62. LSTM-ARIMA-RF 63. LSTM-MLP-RF 64. LSTM-CNN-RF 65. GRU-ARIMA-RF 66. GRU-MLP-RF 67. GRU-CNN-RF 68. RNN-ARIMA-RF 69. RNN-MLP-RF 70. RNN-CNN-RF 71. CNN-ARIMA-RF 72. CNN-MLP-RF 73. CNN-LSTM-RF 74. CNN-GRU-RF 75. ARIMA-XGBoost 76. SARIMA-XGBoost 77. VAR-XGBoost 78. Auto-ARIMA-XGBoost 79. Auto-SARIMA-XGBoost 80. LSTM-XGBoost 81. GRU-XGBoost 82. RNN-XGBoost 83. CNN-XGBoost 84. MLP-XGBoost 85. LSTM-ARIMA-XGBoost 86. LSTM-MLP-XGBoost 87. LSTM-CNN-XGBoost 88. GRU-ARIMA-XGBoost 89. GRU-MLP-XGBoost 90. GRU-CNN-XGBoost 91. RNN-ARIMA-XGBoost 92. RNN-MLP-XGBoost 93. RNN-CNN-XGBoost 94. CNN-ARIMA-XGBoost 95. CNN-MLP-XGBoost 96. CNN-LSTM-XGBoost 97. CNN-GRU-XGBoost 98. ARIMA-ANN 99. SARIMA-ANN 100. VAR-ANN 上面这些缩写模型的全称及相关用途功能详细解释
07-15
以下是对缩写模型的全称及相关用途功能的详细解释： 1. ARIMA (AutoRegressive Integrated Moving Average): 适用于平稳时间序列数据的预测，结合了自回归 (AR) 和移动平均 (MA) 的模型。 2. SARIMA (Seasonal ARIMA): 在ARIMA模型基础上添加了对季节性因素的建模，适用于带有季节性的时间序列数据的预测。 3. VAR (Vector Autoregression): 用于多变量时间序列数据的预测，基于自回归模型，能够捕捉变量之间的相互依赖关系。 4. Auto-ARIMA: 自动选择ARIMA模型的参数，通过对多个模型进行评估和选择来实现自动化。 5. Auto-SARIMA: 自动选择SARIMA模型的参数，通过对多个模型进行评估和选择来实现自动化。 6. LSTM (Long Short-Term Memory): 长短期记忆网络，一种适用于处理长期依赖关系的循环神经网络，用于时间序列数据的建模和预测。 7. GRU (Gated Recurrent Unit): 一种类似于LSTM的循环神经网络，具有更简化的结构，适用于时间序列数据的建模和预测。 8. RNN (Recurrent Neural Network): 适用于处理序列数据的神经网络模型，能够捕捉时间序列的动态特性。 9. CNN (Convolutional Neural Network): 卷积神经网络，主要用于图像处理，但也可以用于时间序列数据的预测，特别擅长局部模式的识别。 10. MLP (Multi-Layer Perceptron): 多层感知机，一种前馈神经网络模型，适用于处理非线性关系的时间序列数据。 11. DNN (Deep Neural Network): 深度神经网络，具有多个隐藏层的神经网络模型，能够学习更复杂的特征表示。 12. MLP-LSTM: 结合了多层感知机和长短期记忆网络的模型，用于时间序列数据的建模和预测。 13. MLP-GRU: 结合了多层感知机和门控循环单元网络的模型，用于时间序列数据的建模和预测。 14. MLP-RNN: 结合了多层感知机和循环神经网络的模型，用于时间序列数据的建模和预测。 15. MLP-CNN: 结合了多层感知机和卷积神经网络的模型，用于时间序列数据的建模和预测。 这些模型可以根据具体问题和数据的特性来选择和使用，以获得最佳的时间序列预测性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值