人工智能学习07--pytorch18--目标检测：Faster RCNN源码解析(pytorch)

已于 2023-05-24 15:09:25 修改
阅读量1.4k 收藏 15
点赞数 1
分类专栏： pytorch 文章标签： pytorch 人工智能 目标检测
于 2023-05-22 16:38:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AMWICD/article/details/130152083
版权

参考博客：
https://blog.csdn.net/weixin_46676835/article/details/130175898

VOC2012

在这里插入图片描述

1、代码的使用

  1. 查看pytorch中的faster-rcnn源码：
    在pytorch中导入：
import torchvision.models.detection.faster_rcnn

在这里插入图片描述
即可找到faster rcnn所实现的源码，但这只是代码的一部分，和训练相关的代码并不在此。
官方提示在pytorch的github上：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
找到在训练过程中使用的一些文件。
在这里插入图片描述
2. 视频里的代码注意事项：
在这里插入图片描述
https://github.com/pytorch/vision/tree/master/torchvision/models/detection
在这里插入图片描述

pip install pycocotools
pip install pycocotools-windows

在这里插入图片描述
在这里插入图片描述

  • backbone：特征提取网络，可以根据自己的要求选择。 在这里按照官方的样例使用了2个backbone：MobileNetv2、ResNet50+FPN。
  • network_files: Faster R-CNN网络（包括Fast R-CNN以及RPN等模块） 。 构建Faster R-CNN网络的一些模块。主要针对这里的文件进行讲解。
  • train_utils: 训练验证相关模块（包括cocotools）。 涉及训练网络的模块，pytorch官方给的。
  • my_dataset.py: 自定义dataset用于读取VOC数据集。 用于实现一个自定义的dataset。了解自定义数据集的原理后就可以去按照自己的需求创建自己的数据集，再编写相应脚本读取即可。
  • train_mobilenet.py: 以MobileNetV2做为backbone进行训练。 这里讲源码的时候主要以这套来讲，因为是单层的，即预测特征层只有一种。和Faster R-CNN基本上保持一致。但是准确率要低很多。
  • train_resnet50_fpn.py: 以resnet50+FPN做为backbone进行训练。 训练效果很好，实际中尽可能用。官方提供了resnet50+fpn的完整模型权重，利用这个进行迁移学习即可很快地得到一个自己的模型。
  • train_multi_GPU.py: 针对使用多GPU的用户使用。 需要在命令行窗口输入指令，不像前面train_mobilenet.py、train_resnet50_fpn.py这种直接在ide运行脚本即可。
  • predict.py: 简易的预测脚本，使用训练好的权重进行预测测试。
  • validation.py: 利用训练好的权重验证/测试数据的COCO指标，并生成record_mAP.txt文件。
  • pascal_voc_classes.json: pascal_voc标签文件。 pascal_voc类别信息：80个类别，对应整数标签（不从0开始，一般从1开始：目标检测中，0一般留给背景）
    在这里插入图片描述
    这里学习的代码自动去backbone文件夹下寻找所需权重。
    MobileNetV2 weights(下载后重命名为mobilenet_v2.pth，然后放到bakcbone文件夹下): https://download.pytorch.org/models/mobilenet_v2-b0353104.pth 只有backbone的权重，没有后面rpn、fastrcnn 的权重。
    在这里插入图片描述
    完整的模型权重：
    Resnet50 weights(下载后重命名为resnet50.pth，然后放到bakcbone文件夹下): https://download.pytorch.org/models/resnet50-0676ba61.pth
    ResNet50+FPN weights: https://download.pytorch.org/models/fasterrcnn_resnet50_fpn_coco-258fb6c6.pth
    注意，下载的预训练权重记得要重命名，比如在train_resnet50_fpn.py中读取的是fasterrcnn_resnet50_fpn_coco.pth文件， 不是fasterrcnn_resnet50_fpn_coco-258fb6c6.pth，然后放到当前项目根目录下即可。
    在这里插入图片描述
    **Pascal VOC2012 train/val数据集下载地址（没有测试集test）：**http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar
    （弹幕：其实按道理来说train训练，val进行调优选择最好的，然后再用test进行测试）

使用ResNet50+FPN以及迁移学习在VOC2012数据集上得到的权重: 链接:https://pan.baidu.com/s/1ifilndFRtAV5RDZINSHj5w 提取码:dsz8

在这里插入图片描述

train_mobilenet.py 训练脚本

如何调用模型进行训练：
在这里插入图片描述

train_res50_fpn.py 训练脚本

同train_mobilenet.py差不多，但是在main前加了一些参数，显得正式一点。
在这里插入图片描述
用RestNet50作为骨干网络时下载的预训练权重包含了FPN和backbone结构，而采用mobilenet作为骨干网络时下载的预训练权重只是backbone的权重。

2、自定义DataSet

split_data.py
先略，等我听懂之后再写

参考pytorch样例

3、FasterRCNN框架

在这里插入图片描述
在这里插入图片描述

faster_rcnn_framework.py

  • class FasterRCNNBase：
    在这里插入图片描述
    roi_heads包括：
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    original_image_sizes.append((val[0], val[1])) 记录最原始图像的size，最后得到输出后再映射回原图像，这样得到的目标的边界框才是正确的数值。
    在这里插入图片描述
    在这里插入图片描述
  • class FasterRCNN
    主要是在初始函数中定义一系列参数，用到在FasterRCNNBase中提到过的backbone、rpn、roi_heads模块。
    在这里插入图片描述

在这里插入图片描述
在RPN中，通过预测信息和anchor生成器生成一系列anchor，则可得到所有预测的proposal（可能有成千上万个），在输出前要对proposal进行过滤，过滤筛选之后才有NMS处理。
在这里插入图片描述
这两个一个在nms处理前，一个在nms处理后
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
如果传入的不是它，就会报错
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4、GeneralizedRCNNTransform

在这里插入图片描述
对传入的图像进行标准化处理，同时对传入的图像以及它的bounding box信息进行resize处理，并且打包成一个一个的batch输入网络进行正向传播

transform.py

  • class GeneralizedRCNNTransform
    在这里插入图片描述
  • def normalize
    在这里插入图片描述
  • def resize
    将图像与它所对应的boundingbox进行缩放处理。将图像的大小放在之前所设定的最大最小值范围内。
    参考：https://blog.csdn.net/weixin_46676835/article/details/130175898
    在这里插入图片描述
  • def forward GeneralizedRCNNTransform类的正向传播过程
    在这里插入图片描述
    在这里插入图片描述
  • def postprocess
    在这里插入图片描述
    将预测的bounding box信息映射回原始的图像尺寸当中。
    在这里插入图片描述

剩下的有时间再补上↓↓↓↓↓

5、RPN(上)

在这里插入图片描述
AnchorsGenerator
RPNHead

6、RPN(中)

在这里插入图片描述
正负样本采样
RPN损失计算

7、RPN(下)

8、ROIAlign、TwoMLPHead、FastRCNNPredictor

9、FastRCNN正负样本划分及采样

10、FastRCNN损失计算

11、预测结果后处理

12、预测结果映射回原尺度

13、换backbone（不带FPN）

14、换backbone（带FPN）

15、训练+预测

我是使用mobilenet那个训练脚本训练的，中间遇到了几个问题，记录一下。
训练脚本：

  1. torchvision版本与cuda版本不匹配的问题
    参考：https://blog.csdn.net/qq_41590635/article/details/112384718?spm=1001.2014.3001.5501 的具体方法
    在这里插入图片描述
    上面要用到的网站在https://zhuanlan.zhihu.com/p/401931724?utm_id=0这篇文章中有提及：https://pytorch.org/get-started/previous-versions/
    在这里插入图片描述
    服务器上用的是这个，要注意torch、torchvision、cuda版本的匹配问题（跟上面这一行一样就行了）
pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113
  1. 在提示报错的……\functional.py文件中，修改478行左右的代码。 加上indexing='ij'
    在这里插入图片描述
    参考文章：https://blog.csdn.net/qq_63378911/article/details/127759513

换了一个服务器

  1. No module named ‘torch._six‘
    在这里插入图片描述
    参考：https://blog.csdn.net/qq_24502827/article/details/130195645?spm=1001.2101.3001.6650.5&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7ERate-5-130195645-blog-130362406.235%5Ev36%5Epc_relevant_anti_vip&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7ERate-5-130195645-blog-130362406.235%5Ev36%5Epc_relevant_anti_vip&utm_relevant_index=6

测试脚本 predict.py：

  1. 忘记了，但是这里加False。好像是忽视迁移学习的数据不匹配问题。
    在这里插入图片描述
  2. 显示数据格式不匹配
    在这里插入图片描述
    在这里插入图片描述
    但是我检查过了，这里确实是一样的。
    说明问题出在别的地方。
    参考：https://blog.csdn.net/qq_40630902/article/details/119762723?spm=1001.2014.3001.5501
    在这里插入图片描述
    最后发现问题是出在了这里，改成图上这样就好了。
    在这里插入图片描述
    之前是直接用的路径weights_path。
小金金金金鱼
关注
专栏目录
Faster-rcnn:我对Faster-RCNN（Pytorch）的实现
05-14
进度提示（已终结） 完成README-工程代码部分：整体代码提交与测试 　　2018.6.6 完成代码提交 　　2018.6.6 完成代码测试： 完成README-部分－2018.6.7 完成README-部分 工程代码 这个程序是基于Pytorch实现Faster-RCNN功能。 参考代码链接： 参考代码特点：代码健壮，功能齐全，使用方便，过于庞大不方便阅读学习 本代码目的：方便学习faster-rcnn细节，如果项目应用还是用参考代码比较好 本代码特点：在保证基础功能的前提下，对数据处理部分进行整理，对模型部分进行注释 开发环境 Ubuntu16.04（i5-7500 + GTX 1070Ti ） + python3.5 + Pytorch0.3.0 文件夹说明 1、Data： 　　　picture_data/Annotations--存放图片标注的xml文件（手动存放） 　　　
目标检测源代码
11-01
该文件为目标检测源代码以及训练好的模型，tensorflow实现，可以直接运行，也可以在自己需要的基础上进行二次训练
使用pytorch的预训练模型fasterrcnn实现目标检测
qwwwwwwbnm的博客
01-10 922
pytorch使用预训练模型进行目标检测
FasterRCNN-pytorch 使用指南
最新发布
gitblog_00420的博客
08-22 411
FasterRCNN-pytorch 使用指南 FasterRCNN-pytorchFasterRCNN-pytorch - 一个基于PyTorch的Faster R-CNN对象检测模型的实现。项目地址:https://gitcode.com/gh_mirrors/fa/FasterRCNN-pytorch 本指南旨在帮助您快速理解和使用 FasterRCNN-pytorch 这一基于PyTor...
目标检测：Faster R-CNN——网络整体结构介绍及源码笔记
qq_50001789的博客
08-09 511
目标检测：Faster R-CNN网络整体结构源码笔记及细节介绍 论文题目：《Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks》
目标检测models源码
11-15
现在的models都不兼容。适配tensorflow1.12+以上的目标检测源码，搞了很多次才下载并实验成功。
目标检测：Faster R-CNN——RPN模块介绍及源码笔记
qq_50001789的博客
08-09 993
目标检测：Faster R-CNN——RPN模块介绍及源码笔记 目的：预测出图像中目标所在的位置输入：特征图输出：物体边界框，大致将图像中的物体标注出来模块流程：损失计算过程：流程图原创，使用请告知。
目标检测源码记录
weixin_44683176的博客
07-01 224
https://github.com/ultralytics/yolov3/issues/1350 u版yolo
Faster R-CNN pytorch版
qq_35732321的博客
08-31 865
Faster R-CNN可以选用多种流行的backbone提取特征，以ResNet50为例。Faster R-CNN是在R-CNN,Fast R-CNN的基础上改进得来的。R-CNN,Fast R-CNN是Faster-RCNN发展进化的基石，回顾R-CNN,Fast R-CNN有助于更好地理解Faster R-CNN。针对R C-NN的问题，Fast R-CNN有所改进，主要体现在把建议框映射到特征图上，再把特征图统一尺寸，这样就大大减少了重复计算，但是还是两步骤检测。（1）R-CNN检测流程。...
目标检测模型-Faster-RCNN模型-Pytorch版本
05-13
Faster R-CNN（Faster Region-based Convolutional Neural Network）是一种流行的目标检测框架，由Shaoqing Ren、Kaiming He、Ross Girshick和Jian Sun在2015年提出。Faster R-CNN在目标检测领域具有里程碑意义，...
faster-rcnn-pytorch:python pytorch faster-rcnn 目标检测 简单 零基础
05-23
总的来说，"faster-rcnn-pytorch"项目为初学者提供了一条学习Faster R-CNN目标检测的途径。通过阅读和实践该项目，不仅可以掌握Faster R-CNN的工作机制，还能深入理解PyTorch的使用方法，为未来在计算机视觉领域的...
目标检测代码
07-13
https://mp.csdn.net/postedit看我的博客介绍，里面详细介绍了
Python-用PyTorch实现FasterRCNN
08-09
用PyTorch实现Faster RCNN
FasterRCNN-pytorch:FasterRCNN在VGG，ResNet和FPN基础中实现
05-13
更快的RCNN-pytorch FasterRCNN在VGG，ResNet和FPN基础中实现。 参考： rbg的FasterRCNN代码： : 模型表现 在VOC2017上进行培训在VOC2017上进行测试 骨干 地图 VGG16 0.7061 ResNet101 0.754 训练模型 1.运行...
pytorch-使用Pytorch实现的faster-rcnn目标检测算法.zip
03-02
在计算机视觉领域，目标检测是一项关键技术，用于识别和定位图像中...提供的zip文件“pytorch_使用Pytorch实现的faster-rcnn目标检测算法”应该包含了实现该算法所需的代码、数据集和配置文件，可供进一步研究和参考。
faster-rcnn-pytorch-master.rar
02-22
框架采用的pytorch,信号灯数据集采用的是我自己标注的信号灯数据集，相关数据集的资源可以在我发布的其他资源里找到，数据集的数量庞大，质量优秀，完全可以胜任模型的训练任务。模型文件经过本人亲自调整和测试，...
faster-Rcnn.pytorch 训练pascal_VOC数据集
m0_61702267的博客
08-12 607
faster-Rcnn.pytorch 训练pascal_VOC数据集 pascal_VOC 数据集制作
使用faster rcnn进行目标检测（pytorch）
qq_42732826的博客
02-16 527
在被称为FasterR-CNN的后续工作中，主要的见解是这两个部分-计算区域提案和图像分类-可以使用相同的特征图，从而分担计算负荷。
pytorch实现Fast-R-Cnn
qq_45032499的博客
03-22 1080
在 Fast R-CNN 中，bbox_pred 输出的是 RoI 的边界框偏移量，需要对每个 RoI 预测出 4 个偏移量（分别对应边界框的左上角和右下角的横纵坐标）。因此，bbox_pred 的输出通道应该是 4。但是，在 Fast R-CNN 中，bbox_pred 的输出通道为 (num_classes + 1) * 4。
利用pyqt5为目标检测faster-rcnn-pytorch添加gui界面
09-03
利用PyQt5为目标检测Faster-RCNN-PyTorch添加GUI界面是一种很好的方式，可提供用户友好的交互界面，方便用户使用和了解检测结果。下面是一种可能的实现方式： 首先，我们需要安装PyQt5库。使用以下命令在终端中安装： ``` pip install PyQt5 ``` 接下来，我们需要创建一个主窗口来容纳GUI界面。使用PyQt5的QMainWindow类，我们可以轻松创建一个窗口。使用以下代码创建一个名为MainWindow的主窗口： ```python from PyQt5.QtWidgets import QMainWindow class MainWindow(QMainWindow): def __init__(self): super().__init__() self.setWindowTitle("目标检测GUI") self.setGeometry(100, 100, 800, 600) # 设置窗口的位置和大小 ``` 然后，我们可以在主窗口中添加各种GUI元素，例如按钮、标签和图像显示区域。根据需要，您可以根据您的要求进行自定义。以下是一个示例： ```python from PyQt5.QtWidgets import QLabel, QPushButton class MainWindow(QMainWindow): def __init__(self): super().__init__() self.setWindowTitle("目标检测GUI") self.setGeometry(100, 100, 800, 600) self.label = QLabel(self) self.label.setGeometry(10, 10, 780, 480) self.button = QPushButton("开始检测", self) self.button.setGeometry(10, 500, 780, 50) self.button.clicked.connect(self.start_detection) def start_detection(self): # 在此处添加目标检测的代码 pass ``` 最后，我们需要在主函数中初始化应用程序并显示主窗口。使用以下代码： ```python from PyQt5.QtWidgets import QApplication import sys if __name__ == "__main__": app = QApplication(sys.argv) window = MainWindow() window.show() sys.exit(app.exec()) ``` 您可以在`start_detection()`方法中添加您的目标检测代码。这样，当用户点击“开始检测”按钮时，将会调用该方法并执行目标检测。 以上是利用PyQt5为目标检测Faster-RCNN-PyTorch添加GUI界面的一种实现方式。您可以根据需要进行进一步的自定义和改进，以实现更好的用户体验和功能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值