YOLO3搭建自己的训练集数据
由于自己部门需求及学习需求,需要自己制造训练集,并训练好自己的权重,用于检测目标与分割。开始自己探索制造训练集与训练网络的坑坑洼洼的道路,鉴于网上没有较好较为详细的教程,我想要把自己觉得的顺序步骤写出来,给大家减少遇到的坑。
环境配置:Ubuntu16.04+cuda9.0(NVIDA381以上显卡驱动)+cudnn v7+YOLOv3
(其实环境也不用相同,毕竟制造制造数据集的方法是相同的)
我把制造自己的数据集分为以下几个步骤:
1.读懂darknet/cfg/yolov3.cfg文件的一些参数
了见参数是我们必须做的第一步,有助于你熟悉这个神经网络,深度学习的一些概念
特别是以下两个参数,必须重点理解
batch=64
subdivisions=16
cfg文件说明
[net] ★ [xxx]开始的行表示网络的一层,其后的内容为该层的参数配置,[net]为特殊的层,配置整个网络
# Testing ★ #号开头的行为注释行,在解析cfg的文件时会忽略该行
# batch=1
# subdivisions=1
# Training
batch=64 ★ 注意!!!这儿batch与机器学习中的batch有少许差别,仅表示网络积累多少个样本后进行一次BP
subdivisions=16 ★ 这个参数表示将一个batch的图片分sub次完成网络的前向传播
★★ 敲黑板:在Darknet中,batch和sub是结合使用的,例如这儿的batch=64,sub=16表示训练的过
程中将一次性加载64张图片进内存,然后分16次完成前向传播,意思是每次4张,前向传播的循环过程中
累加loss求平均,待64张图片都完成前向传播后,再一次性后传更新参数
★★★ 调参经验:sub一般设置16,不能太大或太小,且为8的倍数,其实也没啥硬性规定,看着舒服就好
batch的值可以根据显存占用情况动态调整,一次性加减sub大小即可,通常情况下batch越大越好,还需
注意一点,在测试的时候batch和sub都设置为1,避免发生神秘错误!
width=608 ★ 网络输入的宽width
height=608 ★ 网络输入的高height
channels=3 ★ 网络输入的通道数channels
★★★ width和height一定要为32的倍数,否则不能加载网络
★ 提示:width也可以设置为不等于height,通常情况下,width和height的值越大,对于小目标的识别
效果越好,但受到了显存的限制,读者可以自行尝试不同组合
momentum=0.9 ★ 动量 DeepLearning1中最优化方法中的动量参数,这个值影响着梯度下降到最优值得速度
decay=0.0005 ★ 权重衰减正则项,防止过拟合
angle=0 ★ 数据增强参数,通过旋转角度来生成更多训练样本
saturation = 1.5 ★ 数据增强参数,通过调整饱和度来生成更多训练样本
exposure = 1.5 ★ 数据增强参数,通过调整曝光量来生成更多训练样本
hue=.1 ★ 数据增强参数,通过调整色调来生成更多训练样本
learning_rate=0.001 ★ 学习率决定着权值更新的速度,设置得太大会使结果超过最优值,太小会使下降速度过慢。
如果仅靠人为干预调整参数,需要不断修改学习率。刚开始训练时可以将学习率设置的高一点,
而一定轮数之后,将其减小在训练过程中,一般根据训练轮数设置动态变化的学习率。
刚开始训练时:学习率以 0.01 ~ 0.001 为宜。一定轮数过后:逐渐减缓。
接近训练结束:学习速率的衰减应该在100倍以上。
学习率的调整参考https://blog.csdn.net/qq_33485434/article/details/80452941
★★★ 学习率调整一定不要太死,实际训练过程中根据loss的变化和其他指标动态调整,手动ctrl+c结
束此次训练后,修改学习率,再加载刚才保存的模型继续训练即可完成手动调参,调整的依据是根据训练
日志来,如果loss波动太大,说明学习率过大,适当减小,变为1/5,1/10均可,如果loss几乎不变,
可能网络已经收敛或者陷入了局部极小,此时可以适当增大学习率,注意每次调整学习率后一定要训练久
一点,充分观察,调参是个细活,慢慢琢磨
★★ 一点小说明:实际学习率与GPU的个数有关,例如你的学习率设置为0.001,如果你有4块GPU,那
真实学习率为0.001/4
burn_in=1000 ★ 在迭代次数小于burn_in时,其学习率的更新有一种方式,大于burn_in时,才采用policy的更新方式
max_batches = 500200 ★ 训练次数达到max_batches后停止学习,一次为跑完一个batch
policy=steps ★ 学习率调整的策略:constant, steps, exp, poly, step, sig, RANDOM,constant等方式
参考https://nanfei.ink/2018/01/23/YOLOv2%E8%B0%83%E5%8F%82%E6%80%BB%E7%BB%93/#more
steps=400000,450000
scales=.1,.1 ★ steps和scale是设置学习率的变化,比如迭代到400000次时,学习率衰减十倍,45000次迭代时,学
习率又会在前一个学习率的基础上衰减十倍
[convolutional] ★ 一层卷积层的配置说明
batch_normalize=1 ★ 是否进行BN处理,什么是BN此处不赘述,1为是,0为不是
filters=32 ★ 卷积核个数,也是输出通道数
size=3 ★ 卷积核尺寸
stride=1 ★ 卷积步长
pad=1 ★ 卷积时是否进行0 padding,padding的个数与卷积核尺寸有关,为size/2向下取整,如3/2=1
activation=leaky ★ 网络层激活函数
★★ 卷积核尺寸3*3配合padding且步长为1时,不改变feature map的大小
# Downsample
[convolutional] ★ 下采样层的配置说明
batch_normalize=1
filters=64
size=3
stride=2
pad=1
activation=leaky ★★ 卷积核尺寸为3*3,配合padding且步长为2时,feature map变为原来的一半大小
[shortcut] ★ shotcut层配置说明
from=-3 ★ 与前面的多少次进行融合,-3表示前面第三层
activation=linear ★ 层次激活函数
......
......
[convolutional] ★ YOLO层前面一层卷积层配置说明
size=1
stride=1
pad=1
filters=255 ★ filters=num(预测框个数)*(classes+5),5的意义是4个坐标加一个置信率,论文中的tx,ty,tw,th,
c,classes为类别数,COCO为80,num表示YOLO中每个cell预测的框的个数,YOLOV3中为3
★★★ 自己使用时,此处的值一定要根据自己的数据集进行更改,例如你识别4个类,则:
filters=3*(4+5)=27,三个fileters都需要修改,切记
activation=linear
[yolo] ★ YOLO层配置说明
mask = 0,1,2 ★ 使用anchor的索引,0,1,2表示使用下面定义的anchors中的前三个anchor
anchors = 10,13, 16,30, 33,23, 30,61, 62,45, 59,119, 116,90, 156,198, 373,326
classes=80 ★ 类别数目
num=9 ★ 每个grid cell总共预测几个box,和anchors的数量一致。当想要使用更多anchors时需要调大num
jitter=.3 ★ 数据增强手段,此处jitter为随机调整宽高比的范围,该参数不好理解,在我的源代码注释中有详细说明
ignore_thresh = .7
truth_thresh = 1 ★ 参与计算的IOU阈值大小.当预测的检测框与ground true的IOU大于ignore_thresh的时候,参与
loss的计算,否则,检测框的不参与损失计算。
★ 理解:目的是控制参与loss计算的检测框的规模,当ignore_thresh过于大,接近于1的时候,那么参与
检测框回归loss的个数就会比较少,同时也容易造成过拟合;而如果ignore_thresh设置的过于小,那么
参与计算的会数量规模就会很大。同时也容易在进行检测框回归的时候造成欠拟合。
★ 参数设置:一般选取0.5-0.7之间的一个值,之前的计算基础都是小尺度(13*13)用的是0.7,
(26*26)用的是0.5。这次先将0.5更改为0.7。参考:https://www.e-learn.cn/content/qita/804953
random=1 ★ 为1打开随机多尺度训练,为0则关闭
★★ 提示:当打开随机多尺度训练时,前面设置的网络输入尺寸width和height其实就不起作用了,width
会在320到608之间随机取值,且width=height,没10轮随机改变一次,一般建议可以根据自己需要修改
随机尺度训练的范围,这样可以增大batch
建议用本子记录一遍,加深理解。我就是这样做的(抱歉写字比较潦草)
参考网址https://www.cnblogs.com/hls91/p/10911997.html
2.理解以后,就开始搭建数据集,细分以下几步.
2.1准备自己想要训练的目标图片(我这里只准备了78张),放在一个文件夹(这里假设为picture)
2.2建立一个rename.py文件,在终端运行:python rename.py
**
将这些图片序列命名,如图所示
用到的rename.py:
#coding=utf-8
import os #打开文件时需要
from PIL import Image
import re
class BatchRename():
def __init__(self):
#我的图片文件夹路径,不同的人不同路径
self.path = '//home//user//darknet//scripts//VOCdevkit//VOC2007//JPEGImages'
def rename(self):
filelist = os.listdir(self.path)
total_num = len(filelist)
i = 000000 #图片编号从多少开始,不要跟VOC原本的编号重复了
n = 6
for item in filelist:
if item.endswith('.jpg'):
n = 6 - len(str(i))
src = os.path.join(os.path.abspath(self.path), item)
dst = os.path.join(os.path.abspath(self.path), str(0)*n + str(i) + '.jpg')
try:
os.rename(src, dst)
print ('converting %s to %s ...' % (src, dst))
i = i + 1
except:
continue
print ('total %d to rename & converted %d jpgs' % (total_num, i))
if __name__ == '__main__':
demo = BatchRename()
demo.rename()
2.3同上面的操作类似,建立一个resize.py文件,在终端输入:python resize.py
将图片统一大小,非常重要!!我第一次就是没有做到统一大小,导致后面出问题,原因我没搞明白!知道的朋友麻烦留言告知。(当然如果你的图片全是大小一致的就跳过这一步)
resize.py文件代码:
#coding=utf-8
import os #打开文件时需要
from PIL import Image#这些模块得提前装好
import re
Start_path='//home//user//darknet//scripts//VOCdevkit//VOC2007//JPEGImages//' #原来你的图片目录
N_path='//home//user//darknet//scripts//VOCdevkit//VOC2007//JPEGImages_1//'#resize your picture 后保存的位置
list=os.listdir(Start_path)
#print list
count=0
for pic in list:
path=Start_path+pic
print (path)
im=Image.open(path)
w,h=im.size
#print w,h
if w>h:
print (pic)
print ("图片名称为"+pic+"图片被修改")
h_new=(int)(700)
w_new=(int)(700)#我这里统一大小改为700×700,自己按照需求改
count=count+1
out = im.resize((w_new,h_new),Image.ANTIALIAS)
new_pic=re.sub(pic[:-4],pic[:-4],pic) #+'_new'
#print new_pic
new_path=N_path+new_pic #Start_path+new_pic
out.save(new_path)
if h>w:
print (pic)
print ("图片名称为"+pic+"图片被修改")
w_new=(int)(700)
h_new=(int)(700)#我这里统一大小改为700×700,自己按照需求改
count=count+1
out = im.resize((w_new,h_new),Image.ANTIALIAS)
new_pic=re.sub(pic[:-4],pic[:-4],pic) #+'_new'
#print new_pic
new_path=N_path+new_pic #Start_path+new_pic
out.save(new_path)
print ('END')
count=str(count)
print ("共有"+count+"张图片尺寸被修改")
此时,我们的图片大小已经统一了。
2.4必须必须检查图片的序列号是否连续!!!,可能运行过程中的图片会丢失,与我们建立的py文件中打开文件的方式有关,不连续自己手动改为连续。
不连续的例子:
00001.jpg
00002.jpg
00004.jpg
少了00003.jpg,要补上,因为等会在这个会影响给标注文件xml转化为yolov3的标签labels
2.5!!!给图片打标,生成xml文件(会在自己放图片的位置生成xml文件)
这里要安装一个软件:叫labelImages,使用非常简单
安装请按照这个网址https://blog.csdn.net/comway_Li/article/details/85046102
然后选择自己打标的图片的目录,进行图片打标
如图!!!注意选择的格式是voc
给图片打完标后,在picture的目录一个图片对应一个xml文件。
3.在darknet/scripts/目录下建立自己的数据集目录结构
3.1scripts下新建VOCdevkits目录
3.2VOCdevkits目录下建立JPEGImages,Annotations,ImageSets三个目录
3.3在ImageSets下建立Layout与Main两个目录
4.将刚才打标的图片放在建立的JPEGImages目录,对应的xml文件放在Annotations
5.运行test.py 转化标签信息,在Main目录生成三个文件
新建立代码文件叫test.py,
import os
import random
trainval_percent = 0.1
train_percent = 0.9
xmlfilepath = 'Annotations'
txtsavepath = 'ImageSets\Main'
total_xml = os.listdir(xmlfilepath)
num = len(total_xml)
list = range(num)
tv = int(num * trainval_percent)
tr = int(tv * train_percent)
trainval = random.sample(list, tv)
train = random.sample(trainval, tr)
ftrainval = open('ImageSets/Main/trainval.txt', 'w')
ftest = open('ImageSets/Main/test.txt', 'w')
ftrain = open('ImageSets/Main/train.txt', 'w')
fval = open('ImageSets/Main/val.txt', 'w')
for i in list:
name = total_xml[i][:-4] + '\n'
if i in trainval:
ftrainval.write(name)
if i in train:
ftest.write(name)
else:
fval.write(name)
else:
ftrain.write(name)
ftrainval.close()
ftrain.close()
fval.close()
ftest.close()
在终端运行python test.py
6.VOC数据转化为labels信息
YOLOV3的label,YOLOV3的label标注的一行五个数分别代表类别(从 0 开始编号), BoundingBox 中心 X 坐标,中心 Y 坐标,宽,高。这些坐标都是 0~1 的相对坐标。和我们刚才标注的label不同,因此我们需要下面的py文件帮我们转换label。
wget https://pjreddie.com/media/files/voc_label.py
这里我提供源码:
import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join
# 注释掉默认的
# sets=[('2012', 'train'), ('2012', 'val'), ('2007', 'train'), ('2007', 'val'), ('2007', 'test')]
# classes = ["aeroplane", "bicycle", "bird", "boat", "bottle", "bus", "car", "cat", "chair", "cow", "diningtable", "dog", "horse", "motorbike", "person", "pottedplant", "sheep", "sofa", "train", "tvmonitor"]
sets=[ ('2007', 'train'), ('2007', 'val'), ('2007', 'test')]
classes = [ "ganlanqiu"]
def convert(size, box):
dw = 1./size[0]
dh = 1./size[1]
x = (box[0] + box[1])/2.0
y = (box[2] + box[3])/2.0
w = box[1] - box[0]
h = box[3] - box[2]
x = x*dw
w = w*dw
y = y*dh
h = h*dh
return (x,y,w,h)
def convert_annotation(year, image_id):
in_file = open('VOCdevkit/VOC%s/Annotations/%s.xml'%(year, image_id)) #(如果使用的不是VOC格式的目录而是自设置数据集名字,则这里需要修改,跟我相同就参照我的目录,下面有)
out_file = open('VOCdevkit/VOC%s/labels/%s.txt'%(year, image_id), 'w') #(同上)
tree=ET.parse(in_file)
root = tree.getroot()
size = root.find('size')
w = int(size.find('width').text)
h = int(size.find('height').text)
for obj in root.iter('object'):
difficult = obj.find('difficult').text
cls = obj.find('name').text
if cls not in classes or int(difficult) == 1:
continue
cls_id = classes.index(cls)
xmlbox = obj.find('bndbox')
b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))
bb = convert((w,h), b)
out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')
wd = getcwd()
for year, image_set in sets:
if not os.path.exists('VOCdevkit/VOC%s/labels/'%(year)):
os.makedirs('VOCdevkit/VOC%s/labels/'%(year))
image_ids = open('VOCdevkit/VOC%s/ImageSets/Main/%s.txt'%(year, image_set)).read().strip().split()
list_file = open('%s_%s.txt'%(year, image_set), 'w')
for image_id in image_ids:
list_file.write('%s/VOCdevkit/VOC%s/JPEGImages/%s.jpg\n'%(wd, year, image_id))
convert_annotation(year, image_id)
list_file.close()
注意,voc_label.py需要与VOCdevkits目录同级位置。
这里需要修改两个地方,sets和classes,参考我的橙色的部分:
修改完后,在终端打开scripts目录,运行
python voc_label.py
cat 2007_train.txt 2007_val.txt > train.txt
观察scripts目录下,是否生成了对应文件 2007_train.txt ;2007_val.txt ;2007_test.txt ;train.txt
再看VOC2007目录下是否多了labels目录,打开是否如下:
坚持至此,兄弟们,数据集完成!!!!
7.修改自己的cfg文件及data
7.1cfg/voc.data文件修改
class是你自己想训练的类的数目,接下来的两个是训练测试目录,只需要修改为对应的目录
7.2修改data/voc.names中的类的名字(我只有一个类)
7.3修改cgf/yolov3-voc.cfg框架文件中的几个参数
此时,发现自己已经熟悉了这个东西,修改起来也不是那么难,参数理解也比较简单了
修改参数文件cfg/yolov3-voc.cfg
ctrl+f搜 yolo, 总共会搜出3个含有yolo的地方。
3个地方都要改,且每个地方都必须要改2处, filters:3*(5+len(classes));
其中:classes:我这里是一个类, len(classes)=1
filters = 18
classes = 1
可修改:random = 1:原来是1,显存小改为0。(是否要多尺度输出。我这里不用,因为样本不足时,这个参数会影响训练效果)
由于自己当初没有截图,参考别人的图
在文件开头,修改训练的batches,subdivisions,自己看情况,显卡不强的掂量以下哈哈
8.下载预训练的权重
恭喜,坚持到这里真不容易!!!过了这一步,就能训练自己的数据了!!
wget https://pjreddie.com/media/files/darknet53.conv.74
这个文件下载看网络!!!很慢!!!我用校园网才下了下来。
注意!!!!敲黑板!!!这个文件必须先在darknet目录下建立backup(保存训练权重的)文件夹,再把这个文件放到darknet目录下,与backup同级
9.成功!!!开始训练!!!!!!!
1:普通训练:
./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg darknet53.conv.74
2:若想使用多个GPU训练
./darknet detector train cfg/voc.data cfg/yolov3.cfg darknet53.conv.74 -gpus 0,1,2,3
3:如终止训练,ctrl+z,权重会保存在backup文件夹下。如果要从检查点停止并重新启动训练
./darknet detector train cfg/voc.data cfg/yolov3.cfg backup/yolov3.backup
我训练10000次后测试图
可视化参数图片: