跑通pytorch版Faster RCNN并训练自己的数据

最新推荐文章于 2024-03-30 17:57:46 发布
最新推荐文章于 2024-03-30 17:57:46 发布
阅读量4.5k 收藏 73
点赞数 6
文章标签： 深度学习 linux 经验分享
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/goodatfrida/article/details/107425746
版权

一、环境配置

系统配置——ubuntu16.04
显卡——RTX2080Ti
cuda10.0+cudnn7.5.0——参考 https://blog.csdn.net/wanzhen4330/article/details/81699769
Python3.6+Anaconda
PyTorch1.0.0——官网 https://pytorch.org/get-started/previous-versions/

conda install pytorch==1.0.0 torchvision==0.2.1 cuda100 -c pytorch

超级慢
添加清华镜像源，重新下装

conda install pytorch==1.0.0 torchvision==0.2.1 cuda100

二、git clone

git clone -b pytorch-1.0 --single-branch --depth=1 --recursive https://github.com/jwyang/faster-rcnn.pytorch.git

其中：-b是分支名，--single-branch是clone指定分支的命令，--depth==1是只克隆最近一次更改，--recursive用于循环递归克隆子项目。

三、训练前准备

  1. 创建数据文件夹
cd faster-rcnn.pyroch
mkdir data
  1. 下载数据集
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtest_06-Nov-2007.tar
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCdevkit_08-Jun-2007.tar

太慢，不推荐
有镜像网站 https://pjreddie.com/projects/pascal-voc-dataset-mirror/
下载后解压，解压后的目录结构如下：

——data
————local
————results
————VOCdevkit2007
——————VOC2007
————————Annotations
————————ImageSets
————————JPEGImages
————————SegmentationClass
————————SegmentationObject
————VOCcode
  1. 预训练模型
    VGG16: https://filebox.ece.vt.edu/~jw2yang/faster-rcnn/pretrained-base-models/vgg16_caffe.pth
    ResNet101:https://filebox.ece.vt.edu/%7Ejw2yang/faster-rcnn/pretrained-base-models/resnet101_caffe.pth

基于caffe训练的模型要比基于pytorch训练的模型表现好些。下载完以后，把这两个模型都放进/data/pretrained_model/里。

  1. 下载相关安装包
pip install -r requirements.txt

贴一下我的安装包版本

cython==0.29.21
cffi==1.11.5
opencv-python==4.3.0.36
scipy==1.0.0
msgpack==1.0.0
easydict==1.9
matplotlib==3.3.0
pyyaml==5.3.1
tensorboardX==2.1
  1. 编译CUDA依赖环境
cd lib
python setup.py build develop

训练

在训练之前，设置 正确的保存和加载模型的目录，改变trainval_net和test_net.py中的参数save_dir和loader_dir以适应你的环境。
使用vgg16在pascal_voc上训练你的faster-rcnn模型，运行下面代码：

CUDA_VISIBLE_DEVICES=$GPU_ID python trainval_net.py \
                   --dataset pascal_voc --net vgg16 \
                   --bs $BATCH_SIZE --nw $WORKER_NUMBER \
                   --lr $LEARNING_RATE --lr_decay_step $DECAY_STEP \
                   --cuda

bs是batch size，默认为1
dataset是要在什么数据集上训练
net是你要使用的预训练模型，可以换为resnet101
epoch是要训练的轮数
nw是number work，我的显卡显存是11G，可以进行4线程读取，如果显存小的话就设为1
lr是学习率
lr_decay_step 8： 每几个epoch学习率衰减一次（默认衰减一次0.1，通过decay_gamma可调）；可选参数
use_tfb： 使用tensorboardX实现记录和可视化，不用就不写；可选参数
mGPUs： 多GPU训练，不用就不写该命令；可选参数
cuda：使用cuda；
由上, BATCH_SIZE 和 WORKER_NUMBER 可以根据你的GPU情况来设置。
我的参数设置如下

CUDA_VISIBLE_DEVICES=0 python trainval_net.py  --dataset pascal_voc --net res101 --bs 4 --nw 0 --lr 0.001 --lr_decay_step 5 --cuda --use_tfb

运行出现一个错误

ImportError: cannot import name '_mask'

解决——安装CoCO API

cd data
git clone https://github.com/pdollar/coco.git 
cd coco/PythonAPI
make
cd ../../..

再运行就OK了
训练loss可视化
进入到faster-rcnn.pytorch文件下

pip install tensorboard
tensorboard --logdir=logs/logs_s_1/losses/ --port=7001

进入网页得到loss曲线
在这里插入图片描述

测试

python test_net.py --dataset pascal_voc --net vgg16 \
                   --checksession $SESSION --checkepoch $EPOCH --checkpoint $CHECKPOINT \
                   --cuda

具体参数根据得到的模型设置

python test_net.py --dataset pascal_voc --net res101 --checksession 1 --checkepoch 18 --checkpoint 2504 --cuda

结果

AP for aeroplane = 0.7395
AP for bicycle = 0.7692
AP for bird = 0.7679
AP for boat = 0.6246
AP for bottle = 0.5593
AP for bus = 0.7996
AP for car = 0.8363
AP for cat = 0.8708
AP for chair = 0.5058
AP for cow = 0.8168
AP for diningtable = 0.6224
AP for dog = 0.8573
AP for horse = 0.8494
AP for motorbike = 0.7673
AP for person = 0.7781
AP for pottedplant = 0.4604
AP for sheep = 0.7470
AP for sofa = 0.7415
AP for train = 0.7469
AP for tvmonitor = 0.7353
Mean AP = 0.7298

训练自己的数据

制作自己的数据

  1. 数据集放置
    注意四个文件夹JPEGImages、Annotations、ImageSets/Main、LabelImages
    制作自己的数据集替换下这四个文件夹原来的数据即可
    JPEGImages——输入图像
    Annotations——图像标签的xml文件
    ImageSets/Main——自己制作的trainval.txt、test.txt、 train.txt和val.txt文件
    LabelImages——图像标签（有框框）

  2. python文件修改
    第一处：改类名 faster-rcnn.pytorch/lib/datasets/pascal_voc.py

在这里插入图片描述3.修改参数faster-rcnn.pytorch/lib/model/utils/config.py
Initial learning rate = 0.001
momentum = 0.9
weight_decay = 0.0005
batch_size = 4
epoch = 100
RPN相关参数
batch_size = 16
anchor_scales = (1.375, 2.25, 3.5, 5.75)
anchor_ratios = (0.8, 1, 1.2)
在这里插入图片描述

训练结束

在这里插入图片描述

测试阶段

出错
在这里插入图片描述解决——我的数据集标签中没有pose，去把它注释掉就可以了
在这里插入图片描述
truncated也没有，也注释掉。

测试

 python test_net.py --dataset pascal_voc --net res101 --checksession 1 --checkepoch 100 --checkpoint 473 --cuda

结果
在这里插入图片描述

改了几处的参数，结果
在这里插入图片描述
在这里插入图片描述

还是不行还要改进

改了参数，ovthresh原来是0.5改为0
在这里插入图片描述训练

CUDA_VISIBLE_DEVICES=0 python trainval_net.py  --dataset pascal_voc --net res101 --bs 4 --nw 0 --lr 0.001 --lr_decay_step 40 --cuda --use_tfb

结果
在这里插入图片描述

待更新……

goodatfrida
关注
  • 6
    点赞
  • 踩
  • 73
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
Pytorch版Faster R-CNN训练自己数据集
Xinyu_cheng的博客
04-15 8867
引言 最近在做目标检测方面的代码复现，复现过程中也遇到了一些问题，现在把整个过程遇到的问题记录一下，过程分享一下。 一、Faster R-CNN 代码下载pytorch版源码：https://github.com/jwyang/faster-rcnn.pytorch.git 具体配置文中讲得很清楚，需要准备数据集、与训练的模型VGG-16 or ResNet 101（不是直接可以用的模型） 我的代...
【目标检测】用Faster R-CNN训练自己的数据集
qq_41464279的博客
04-08 1万+
目录 一、环境准备 二、训练过程 三、推理过程 一、环境准备 我这里的环境是ubuntu18.04系统，colab + python3.7 二、训练过程 1、下载Faster R-CNN源码 ，我这里使用的源码是pytorch版本的 ，原作者的是tensorflow版本。在这里贴上代码地址。 https://github.com/chenyuntc/simple-faster-rcnn-pytorchhttps://github.com/chenyuntc/simple-fa...
pytorch版本的faster rcnn训练测试自己的数据集
qq_38497266的博客
07-30 4759
源码地址：https://github.com/jwyang/faster-rcnn.pytorch 环境：Ubuntu 16.04、python2.7或3.6，显卡GTX1080Ti，pytorch0.4.0，CUDA8.0 一、环境配置： 1.1、 系统环境：Ubuntu 16.04：安装教程：https://jingyan.baidu.com/article/3c48dd348bc00...
【PyTorch实战演练】Faster R-CNN介绍以及通过预训练模型30行代码实现目标检测
m0_49963403的博客
03-30 3427
Faster R-CNN介绍，并且用30行代码实现目标检测
跑通Pytorch1.0版本的Faster-RCNN，并训练自己的数据集（一）
u014696804的博客
01-03 4794
我的环境： Ubuntu 18.04 + cuda 10.1 + pytorch=1.0.0 + torchvision=0.2.1 + python=3.6.2 代码参考的是github上大神的开源代码https://github.com/jwyang/faster-rcnn.pytorch Step一、下载安装 1、首先代码下载，自己down或者git命令clone都可...
如何用Pytorch版本的FasterRCNN训练自己的数据
Tsingzao的博客
05-15 6709
1、从这里下载FasterRCNN的Pytorch版本代码。按照提示完成相关编译。2、因为默认的数据为VOC2007，最直接的方法我们可以按照这里将自己的数据制作成VOC2007的格式，并建立软连接。3、修改https://github.com/jwyang/faster-rcnn.pytorch/blob/master/lib/datasets/pascal_voc.py数据的类别，即将self...
使用pytorch版faster-rcnn训练自己数据集
热门推荐
weixin_43380510的博客
10-11 5万+
使用pytorch版faster-rcnn训练自己数据集引言faster-rcnn pytorch代码下载训练自己数据集接下来工作参考文献 引言 最近在复现目标检测代码（师兄强烈推荐FPN，但本文只针对Faster-RCNN），大家在能顺利测试源码数据集后，翅膀是不是硬了？是否想使用自己的数据集爽一下，本文主要介绍如何“傻瓜式”训练自己的数据集~之前的此类博客都是介绍如何在原作者的caffe源码下...
目标检测之FasterRcnn算法——训练自己的数据集（pytorch）
swpucwf的博客
11-17 1万+
数据集 数据集目录如上，VOC数据集的格式 JPEGImages目录下，放上自己的训练集和测试集 Annotations 下，放上自己的xml文档配置，如上。 在VOCdevkit\VOC2012\ImageSets\Main下，放上自己的train.txt和val.txt, 上面，我按照VOC的格式来的，前面是所有的XML，因为VOC有32类，这里有我懒的删除，刚好前面代表XML文件，后面代表这张图片中有多少该目标，-1表示没有。 这样的话，数据就准备好了。 准备一个json,文件，选择
跑通Faster-RCNN Pytorch-1.0以及如何训练自己的数据集（详细到发抖）
HeiZee的博客
12-04 1万+
目录 1.环境配置 1.1 安装cuda 1.2 安装cudnn 1.3 安装Pytorch 2.Faster-RCNN 2.1 下载Faster-RCNN pytorch1.0代码 1.环境配置 系统：ubuntu20.04 显卡：RTX3060 cuda11.3+cudnn8.2.1 参考博客：https://blog.csdn.net/wanzhen4330/article/details/81699769 python 3.6 + Anaconda Pytorch-1.7.1 1.
Faster-RCNN.pytorch的搭建、使用过程详解（适配PyTorch 1.0以上版本）
Yale-曼陀罗
11-27 3万+
Faster-RCNN.pytorch的搭建、使用过程详解引言faster-rcnn pytorch代码下载faster-rcnn pytorch配置过程 引言 本文主要介绍（1）如何跑通源代码；（2）配置过程中遇到的错误调试过程；（3）成功训练自己的数据集。 faster-rcnn pytorch代码下载 pytorch0.4.0版源码：https://github.com/jwyang/faster-rcnn.pytorch.git pytorch1.0.0版源码：https://github.com
FasterRCNN训练自己的数据
12-21
本渣尝试花了四天时间通读了一遍大佬的代码，奈何功力尚浅，还做不到大范围的修改，因此从github上找到了jwyang的faster-rcnn.pytorch 稍作修改，在Linux下成功实验了自己的数据集。 代码 我所使用的服务器操作系统...
用Faster Rcnn 训练自己的数据成功经验(matlab版)
01-14
用Faster Rcnn 训练自己的数据成功经验(matlab版)、将数据集做成VOC2007格式用于Faster-RCNN训练
FasterRCNN-pytorch:FasterRCNN在VGG，ResNet和FPN基础中实现
05-13
更快的RCNN-pytorch FasterRCNN在VGG，ResNet和FPN基础中实现。 参考： rbg的FasterRCNN代码： : 模型表现 在VOC2017上进行培训在VOC2017上进行测试 骨干 地图 VGG16 0.7061 ResNet101 0.754 训练模型 1.运行...
Python-用PyTorch实现FasterRCNN
08-09
用PyTorch实现Faster RCNN
pytorch实现FasterRCNN目标检测入门案例
最新发布
05-31
该项目包含一套完整的代码和数据集，用于训练和验证基于 PyTorch 实现的 Faster R-CNN 模型，以检测小麦中的目标（例如小麦穗）。包括数据预处理、模型训练、验证和结果可视化的完整流程。 该数据集专为小麦头检测...
Faster RCNN训练自己的数据集【傻瓜式教程】
magicnnonn的博客
12-14 1万+
Faster RCNN训练自己的数据集【傻瓜式教程】
Faster R-CNN源码解析1（Pytorch版）
qq_56591814的博客
08-14 2264
  本项目参考的版本是Pytorch官方torchvision模块中的faster_rcnn源码。也可以在ipynb文件中输入，按住Ctrl+鼠标右键，点击Go to Definition就可以打开，这两个是一样的。   但是这个其实只是代码的一部分，关于训练的代码在Pytorch官方vision仓库下的可以找到（点此链接）。打开项目地址，README.md中有写文件结构：├── : 特征提取网络，可以根据自己的要求选择。这里可使用或 ├── : Faster R-CNN网络主要源码部分（包括Fast R
【目标检测】Faster R-CNN的复现
qq_44747572的博客
10-30 2144
文章目录0. 利用Git下载Code1. 数据准备2. 模型加载3. 模型训练4. 模型测试 0. 利用Git下载Code Git的安装及使用： https://blog.csdn.net/qq_44747572/article/details/121006841 克隆Code： pytorch1.0.0版源码： https://github.com/jwyang/faster-rcnn.pytorch/tree/pytorch-1.0 下载zip，在指定文件夹内进行解压： 1. 数据准备 切换路
Ubuntu18.04 基于detectron2实现Faster RCNN训练VOC数据(二)
linghu8812的博客
04-23 3025
1.准备VOC数据 下载VOC数据，将VOC数据放在datasets文件夹下，VOC2007和VOC2012两个文件夹分开放，文件夹下结构不用改变。 datasets |----VOC2007 |----VOC2012 2. 数据训练 通过以下命令开始训练。 CUDA_VISIBLE_DEVICES=0 python3 train_net.py \ --config-file ../confi...
pytorch.fasterrcnn 训练自己的数据集
09-03
要使用PyTorch中的Faster R-CNN训练自己的数据集，你需要以下步骤： 1. 准备数据集：首先准备自己的数据集，包括图像和相应的标注信息。标注信息可以使用类似于PASCAL VOC或COCO的标注格式，其中包含每个图像中物体的边界框和类别。 2. 数据预处理：对于数据预处理，你可能需要对图像进行缩放、裁剪、归一化等操作，以确保它们与模型的输入要求相匹配。同时，还需要将标注信息转换成模型所需的格式。 3. 构建数据集类：创建一个自定义数据集类，继承PyTorch的Dataset类，并实现__getitem__和__len__方法。__getitem__方法应当返回图像和标注信息的元组，同时根据需要进行必要的转换。 4. 定义模型：使用PyTorch中的torchvision.models中的Faster R-CNN模型作为基础，将其实例化为一个对象。你可以选择是否使用预训练的模型权重，以加快训练过程。 5. 设置训练参数：通过定义优化器、学习率调度器以及损失函数等来设置训练的参数。常用的优化器是SGD和Adam，并且可以使用不同的学习率调度器来动态调整学习率。 6. 训练模型：使用准备好的数据集、模型和训练参数来进行训练。在每个epoch中，循环遍历数据集并使用模型进行前向传播和反向传播，最后更新模型的权重。 7. 评估和测试模型：训练完成后，可以使用测试集或验证集对模型进行评估。评估指标可以包括准确率、召回率、平均精确度等。你可以根据需要进行必要的调整和优化。 8. 模型保存和使用：将训练好的模型保存为.pth文件，以便以后使用。你可以加载模型并在新的图像上进行预测，以获得目标检测的结果。 以上是使用PyTorch中的Faster R-CNN训练自己的数据集的大致步骤。根据具体的需求，你可能还需要进行其他的调整和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值