win10+torch+yolov3训练自己数据集

最新推荐文章于 2024-07-25 18:56:32 发布
最新推荐文章于 2024-07-25 18:56:32 发布
阅读量616 收藏 5
点赞数
分类专栏： 目标检测 文章标签： 深度学习
原文链接：https://blog.csdn.net/weixin_45829462/article/details/104810031
版权

 

 

平头哥pentougu 2020-03-19 00:06:52  11280  已收藏 44

分类专栏： 目标检测

版权

1. 前情说明：

穷苦学生一枚，恰好最近在学习object detection，用到了yolov3模型，捣鼓了好几天，看了各大论坛、贴吧、CSDN，知乎，博客园等好多大佬前辈们写的文章（吐血.jpg），在这里将自己的过程和结果写出来，希望大家能少走点弯路。

2. 环境：

这个很重要！！！！！

  1. window 10
  2. pytorch 1.4.0
  3. opencv-python
  4. tqdm
  5. matplotlib
  6. pycocotools（这个很难装！！，原作者压根没有考虑window环境下的coco tools，真的吐血，具体安装教程可以参考我的博客：https://blog.csdn.net/weixin_45829462/article/details/104787103

本次使用的是ultralytics-yolov3
为什么使用这个版本，因为这个版本工业应用的比较多，检测速度也比较快，最重要的是，目前这个版本原作者一直在优化之中。
在这里插入图片描述

3. 步骤：

3.1 制作数据集：
在制作数据集需要用到一款标注工具，labellmge，安装地址：github:https://github.com/tzutalin/labelImg，使用方法：
https://www.cnblogs.com/Terrypython/p/9577657.html
3.2 数据集：
博主使用的数据集是Voc行人数据集，是已经标注好的数据集，下载地址：
大家先将数据集下载到桌面，解压，等待使用，数据中有两个文件夹，分别是：
在这里插入图片描述
Annotations文件打开后如下：
在这里插入图片描述
JPEGImages打开后如下：
在这里插入图片描述
3.3 下载模型：
请大家将模型下载下来，地址：https://github.com/ultralytics/yolov3
因为博主准备训练关于检测行人的模型，故命名为yolov3-person，下载下来重要的源文件包都有：

在这里插入图片描述
3.4 装载数据：
将数据集Annotations、JPEGImages复制到yolov3-person工程目录下的data文件下；同时新建两个文件夹，分别命名为ImageSets和labels，最后我们将JPEGImages文件夹复制粘贴一下，并将文件夹重命名为images，具体如下注：（data下加上原先的sample文件夹，一共是6个子文件夹）：
在这里插入图片描述
3.5 建立标签文件：

在根目录下新建两个文件夹，makeTxt.py和voc_label.py，将以下代码拷贝进py文件中，如下：

  • makeTxt.py：
import os
import random

trainval_percent = 0.1
train_percent = 0.9
xmlfilepath = 'data/Annotations'
txtsavepath = 'data/ImageSets'
total_xml = os.listdir(xmlfilepath)

num = len(total_xml)
list = range(num)
tv = int(num * trainval_percent)
tr = int(tv * train_percent)
trainval = random.sample(list, tv)
train = random.sample(trainval, tr)

ftrainval = open('data/ImageSets/trainval.txt', 'w')
ftest = open('data/ImageSets/test.txt', 'w')
ftrain = open('data/ImageSets/train.txt', 'w')
fval = open('data/ImageSets/val.txt', 'w')

for i in list:
    name = total_xml[i][:-4] + '\n'
    if i in trainval:
        ftrainval.write(name)
        if i in train:
            ftest.write(name)
        else:
            fval.write(name)
    else:
        ftrain.write(name)

ftrainval.close()
ftrain.close()
fval.close()
ftest.close()
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • voc_label.py：
import xml.etree.ElementTree as ET
import os
from os import listdir, getcwd

sets = ['train', 'test', 'val']

classes = ["person"]  # 我们只检测person这个类别


def convert(size, box):#对图片进行归一化处理
    dw = 1. / size[0]
    dh = 1. / size[1]
    x = (box[0] + box[1]) / 2.0
    y = (box[2] + box[3]) / 2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x * dw
    w = w * dw
    y = y * dh
    h = h * dh
    return (x, y, w, h)


def convert_annotation(image_id):
    in_file = open('data/Annotations/%s.xml' % (image_id))
    out_file = open('data/labels/%s.txt' % (image_id), 'w')
    tree = ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)

    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult) == 1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
             float(xmlbox.find('ymax').text))
        bb = convert((w, h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')


wd = getcwd()
print(wd)
for image_set in sets:
    if not os.path.exists('data/labels/'):
        os.makedirs('data/labels/')
    image_ids = open('data/ImageSets/%s.txt' % (image_set)).read().strip().split()
    list_file = open('data/%s.txt' % (image_set), 'w')
    for image_id in image_ids:
        list_file.write('data/images/%s.jpg\n' % (image_id))
        convert_annotation(image_id)
    list_file.close()
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56

注：classes=【‘person’】里面的标签并不是我们定的，请大家打开自己数据集的xml文件，类目头标签是是啥填啥：
在这里插入图片描述
3.6 运行标签文件：

  • 运行makeTxt.py后，在ImagesSets文件夹里面生成4个文件：
    在这里插入图片描述
  • 运行makeTxt.py后，在Iabels文件夹里面生成文件名以及image中目标的位置信息：
    在这里插入图片描述
    3.7 配置文件：
    在data文件下新建person.names文件，内容如下：
person
  • 1

在data文件下新建person.data文件，内容如下：

classes=1#只检测一个类，原为80个
train=data/train.txt
valid=data/test.txt
names=data/person.names#读取类目信息
backup=backup/
eval=coco#配置标准与coco数据集一致
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

在这里插入图片描述
3.8 修改参数文件：
修改原yolov3-spp.cfg文件为(可直接拷贝）：

[net]
# Testing
# batch=1
# subdivisions=1
# Training
batch=64
subdivisions=16
width=608
height=608
channels=3
momentum=0.9
decay=0.0005
angle=0
saturation = 1.5
exposure = 1.5
hue=.1



[convolutional]
size=1
stride=1
pad=1
filters=18
activation=linear


[yolo]
mask = 6,7,8
anchors = 10,13,  16,30,  33,23,  30,61,  62,45,  59,119,  116,90,  156,198,  373,326
classes=1
num=9
jitter=.3
ignore_thresh = .7
truth_thresh = 1
random=1


[route]
layers = -4

[convolutional]
batch_normalize=1
filters=256
size=1
stride=1
pad=1
activation=leaky

[upsample]
stride=2

[route]
layers = -1, 61



[convolutional]
batch_normalize=1
filters=256
size=1
stride=1
pad=1
activation=leaky

[convolutional]
batch_normalize=1
size=3
stride=1
pad=1
filters=512
activation=leaky

[convolutional]
batch_normalize=1
filters=256
size=1
stride=1
pad=1
activation=leaky

[convolutional]
batch_normalize=1
size=3
stride=1
pad=1
filters=512
activation=leaky

[convolutional]
batch_normalize=1
filters=256
size=1
stride=1
pad=1
activation=leaky

[convolutional]
batch_normalize=1
size=3
stride=1
pad=1
filters=512
activation=leaky

[convolutional]
size=1
stride=1
pad=1
filters=18
activation=linear


[yolo]
mask = 3,4,5
anchors = 10,13,  16,30,  33,23,  30,61,  62,45,  59,119,  116,90,  156,198,  373,326
classes=1
num=9
jitter=.3
ignore_thresh = .7
truth_thresh = 1
random=1



[route]
layers = -4

[convolutional]
batch_normalize=1
filters=128
size=1
stride=1
pad=1
activation=leaky

[upsample]
stride=2

[route]
layers = -1, 36



[convolutional]
batch_normalize=1
filters=128
size=1
stride=1
pad=1
activation=leaky

[convolutional]
batch_normalize=1
size=3
stride=1
pad=1
filters=256
activation=leaky

[convolutional]
batch_normalize=1
filters=128
size=1
stride=1
pad=1
activation=leaky

[convolutional]
batch_normalize=1
size=3
stride=1
pad=1
filters=256
activation=leaky

[convolutional]
batch_normalize=1
filters=128
size=1
stride=1
pad=1
activation=leaky

[convolutional]
batch_normalize=1
size=3
stride=1
pad=1
filters=256
activation=leaky

[convolutional]
size=1
stride=1
pad=1
filters=18
activation=linear


[yolo]
mask = 0,1,2
anchors = 10,13,  16,30,  33,23,  30,61,  62,45,  59,119,  116,90,  156,198,  373,326
classes=1
num=9
jitter=.3
ignore_thresh = .7
truth_thresh = 1
random=1
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92
  • 93
  • 94
  • 95
  • 96
  • 97
  • 98
  • 99
  • 100
  • 101
  • 102
  • 103
  • 104
  • 105
  • 106
  • 107
  • 108
  • 109
  • 110
  • 111
  • 112
  • 113
  • 114
  • 115
  • 116
  • 117
  • 118
  • 119
  • 120
  • 121
  • 122
  • 123
  • 124
  • 125
  • 126
  • 127
  • 128
  • 129
  • 130
  • 131
  • 132
  • 133
  • 134
  • 135
  • 136
  • 137
  • 138
  • 139
  • 140
  • 141
  • 142
  • 143
  • 144
  • 145
  • 146
  • 147
  • 148
  • 149
  • 150
  • 151
  • 152
  • 153
  • 154
  • 155
  • 156
  • 157
  • 158
  • 159
  • 160
  • 161
  • 162
  • 163
  • 164
  • 165
  • 166
  • 167
  • 168
  • 169
  • 170
  • 171
  • 172
  • 173
  • 174
  • 175
  • 176
  • 177
  • 178
  • 179
  • 180
  • 181
  • 182
  • 183
  • 184
  • 185
  • 186
  • 187
  • 188
  • 189
  • 190
  • 191
  • 192
  • 193
  • 194
  • 195
  • 196
  • 197
  • 198
  • 199
  • 200
  • 201
  • 202
  • 203
  • 204
  • 205
  • 206
  • 207
  • 208
  • 209

提一下，主要修改的是三个yolo层附近的参数，一共六处地方：

修改如下：
①filters=255改为18：即3*（classes+5），单类的话classes=1
②classes=80改为1，只检测person一类
其他参数根据自己需要进行修改：
①如果想修改anchor的值，需要根据kmeans聚类跑自己的数据集得出结果，代码地址：https://github.com/lars76/kmeans-anchor-boxes
②如果GPU显存较小，可以设置将random=1设置为0
③当单类是cls为0

3.10 配置预权重：

预权重需要哪个根据自己修改的cfg文件进行选择，以下附一张图。但要提一点，如果不想在作者训练好的权重再加以训练，想要从头开始训练，选择darknet53.conv.74。
在这里插入图片描述
3.11 训练模型：

使用pycharm中的Terminal，输入如下命令：

python train.py --data data/person.data --cfg cfg/yolov3-spp.cfg --weights weights/darknet53.conv.74 --epochs 100 --batch-size 32
  • 1

其中，–epochs 10指迭代了10次，batch-size 32指每次处理32张图片。
①如果GPU显存不够的，会报出错误：
②batch-size 最好在32以上，并且为2的指数倍，不然会不定时出现nan问题：
在这里插入图片描述
③数据集不要包括黑白图片，请保持RBG通道一致，不然会报错：
在这里插入图片描述
④，有条件的，请开启多尺度训练，提高模型精度，具体命令如下：

python train.py --data data/person.data --cfg cfg/yolov3-spp.cfg --weights weights/darknet53.conv.74 --epochs 100 --batch-size 32 --multi-scale
  • 1

正常运行如下：
在这里插入图片描述
在这里插入图片描述（自己笔记本显存不够，通过Google Colab训练）
训练结束后得到模型best.pt和last.pt：
在这里插入图片描述

4. 结果检测：

在Terminal下输入以下命令：

python detect.py --names data/person.names --cfg cfg/yolov3-spp.cfg --weights weights/best.pt
  • 1

结果如下：
在这里插入图片描述
在这里插入图片描述
结果倒是出乎自己的预期

5. 模型评估与测试

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

陈忠辉
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
在win10下进行pytorch版本yolov3安装及训练
Wanru_26的博客
03-19 4050
1.下载 代码网址：https://github.com/ultralytics/yolov3 权重文件：这个好久之前下载的了网址找不到了 2.代码环境 Readme写的是python3.7，我用的是3.6 其他的根据requirements.txt安装可运行，可以先使用以下代码安装 pip install -U -r requirements.txt 安装列表中包含 numpy opencv-p...
Windows10+YOLOv5训练自己的数据集
12-26
在Windows 10环境下利用YOLOv5训练自定义数据集是一个常见的计算机视觉任务，尤其在目标检测领域。YOLOv5是由Joseph Redmon等人开发的You Only Look Once（YOLO）系列的最新版本，以其高效和准确的目标检测能力而...
python人脸头发身体部位识别人数统计
alicema1111的博客
05-05 2620
python人脸头发身体部位识别人数统计 如需安装运行环境或远程调试，可加QQ905733049,或QQ2945218359由专业技术人员远程协助！ 运行结果如下： 代码如下： import time from pathlib import Path import cv2 import torch from numpy import random from models.experimental import attempt_load from utils.datasets import.
PyTorch-YOLOv3训练自己的数据集--之--排坑指南
小仙女的大大大天地~
04-17 2642
相比于官方给出的基于darknet框架的YOLOv3，基于PyTorch的YOLOv3源码易懂，使用更方便。我将自己在学习和探索过程中遇到的问题和解决的经验在这里与大家分享，希望能为初学者提供一些帮助。 1. 运行detect.py 时，出现RuntimeError:Invalid DISPLAY variable 解决方法：给detect.py的 import matplotlib 后面line...
【PyTorch】基于YOLO的多目标检测项目（二）
最新发布
Frost_Descent的博客
07-25 596
YOLO通常使用组合损失函数# 获取损失函数的参数# 获取yolo的参数# 初始化损失loss=0.0# 获取yolo的输出# 获取网格大小# 将yolo的输出reshape为(batch_size,num_anchors,grid_size,grid_size,-1)# 获取预测的边界框# 获取预测的置信度# 获取预测的类别概率# 获取yolo的目标})# 获取目标掩码# 获取目标的x,y,w,h# 获取目标的类别# 获取目标的置信度。
【目标检测从零开始】torch搭建yolov3模型
开着奔驰种地的博客
12-07 571
用torch从0简单实现一个的yolov3模型，主要分为Backbone、Neck、Head三部分
win10 + Anaconda + yolov3 + pytorch (CPU版)
01-20
一、Anaconda安装与配置 ...win + R 打开cmd,输入conda config --set show_channel_urls yes生效后可以在系统盘用户目录系下找到.condarc用记事本打开，用以下内容替换： channels: - defaults show_channe
PyTorch-YOLOv3训练自己的数据集–之–排坑指南
12-21
在使用PyTorch实现YOLOv3模型进行自定义数据集训练的过程中，初学者往往会遇到各种问题。本文将针对这些常见问题提供详细的解决方案，帮助读者更顺利地进行模型训练。 1. **`RuntimeError: Invalid DISPLAY ...
YOLOv3绝缘子缺陷检测+VOC格式数据集
12-29
YOLOv3是一种高效且准确的目标检测模型，全称为"You Only Look Once"的...通过深入理解YOLOv3模型的工作原理，掌握数据集的处理方法，以及利用TensorBoard进行模型调试，你将能更好地应用这项技术到其他类似的任务中。
Python-在PyTorch中实现YOLOv3
08-11
在PyTorch中实现YOLOv3
Python-YOLOv3的PyTorch完整实现
08-11
YOLOv3的PyTorch完整实现
yolo3 pytorch实现
07-09
python3.6 pytorch0.4 opencv支持下的yolo v3经测试修改全部可用，权重文件自行下载
【Pytorch深度学习50篇】·······第五篇：【YOLO】【3】-----训练篇
guligedong的博客
12-04 2301
一周过去了，我赶在一周的尾巴上来继续写文章了，上周不算忙，至少不用去驻场了，日子好过多了。不过苦了小兄弟们了，他们去驻场了。 来这个现在这个公司快两年了，大概是今年5月份开始，我们一个初创公司开始和这个行业的巨头开始对着干，老板也是真相信我们啊，别人公司什么体量，我们公司什么体量，根本不是一个数量级，就这样还初生牛犊不怕虎，他不怕，我怕，但是又能怎么着呢，环境就是这么残酷，你不硬着头皮上，就只能灰溜溜的走。负重前行吧。明知山有虎，偏向虎上行的精神。 好了，废话说多了，回归主题，YOLO的训练，之前我们网
Pytorch | yolov3原理及代码详解（一）
热门推荐
qq_24739717的博客
07-19 1万+
YOLO相关原理 ： https://blog.csdn.net/leviopku/article/details/82660381 https://www.jianshu.com/p/d13ae1055302 https://blog.csdn.net/qq_34199326/article/details/84874409 https://blog.csdn.net/chandanyan...
windows下自制数据集，linux下pytorch实现yolov3
饭真好吃的博客
05-28 1286
目录1 环境搭建2 数据集构造voc格式数据的构造2.1 labellmg给数据画框得到xml格式文件2.2 将样本打乱划分训练集等，生成txt文件2.3 将对应图片名称的txt文件生成指向对应图片路径的txt文件2.4 将xml格式的标注转化成txt形式的标注3 制作对应的coco数据集格式3.1coco下创建image和labels文件夹，分别放所有图片和标准化后的所有labels3.2dat...
Pytorch-YOLOv3使用步骤详解(win系统下）
chenxiangrong的博客
03-06 1万+
1、下载 1.0、环境 这是笔者环境，各位可根据笔者环境考虑是否要继续 window 10 python 3.6.5 torch 1.0 1.1、模型下载 https://github.com/eriklindernoren/PyTorch-YOLOv3 1.2、安装所需库 打开requirements.txt，傻瓜式操作安装所需库： numpy（笔者安装numpy最新版本时需要升级pip...
pytorch实现Yolov3网络结构
夏之微风的博客
07-11 1042
这里写自定义目录标题新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 最近一段时间在研究目标检测，先从yolov3看起。本文讲下如何使用pytorch实现yolov3网络结构中的DarkNet53网络结构。 首先上图，图片参
windows10+Pytorch中用yolov3训练自己数据记录
niuyuanye的博客
06-12 2105
yolov3版本：下载地址：https://github.com/ultralytics/yolov3 选择原因pytorch中速度快、可以工业部署、不停的更新维护。后续有yolov5（只在其Github看到，后续可以尝试） 环境：windows10 pytorch1.5（1.4） python3.7 CUDA：10.2 （10.1） cuDNN7.6 Visual Studio Enterpris...
YOLOv5与YOLOv3训练自定义数据集全攻略
"yolov5yolov3训练自己的数据集超详细" 本文将详细介绍如何使用YOLOv5和YOLOv3训练自定义数据集的过程。YOLO（You Only Look Once）是一种高效的实时目标检测算法，其最新版本YOLOv5在性能和易用性上都有显著提升。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值