darknet YOLOv2安装及数据集训练

版权声明:本文为博主原创文章,转载请注明出处。 https://blog.csdn.net/dcrmg/article/details/78496002

一、 YOLOv2安装使用

1. darknet YOLOv2安装


git clone https://github.com/pjreddie/darknet
cd darknet
make


或到网址上下载darknet文件夹,解压后在darknet文件夹下执行make编译。

2. 预测模型权重下载


wget https://pjreddie.com/media/files/yolo.weights

或到网址上下载yolo.weights,放到darknet目录下。

3. 目标检测


./darknet detect cfg/yolo.cfg yolo.weights data/dog.jpg


预测过程大约需要15S,结果保存在darknet目录下predictions.jpg


二、 YOLOv2重新训练


1. 准备数据&&打标


数据包括训练数据和验证数据,所有数据需要把要识别的物体事先标注出来,标注工具推荐使用labelImg

labelImg下载地址:http://download.csdn.net/download/dcrmg/9974195    

打标的结果保存在xml文件中。

2. 建立训练和验证数据文件夹/提取图片名称


在darknet文件夹下建立4个文件夹----trainImage、validateImage、trainImageXML、validateImageXML,分别用来存放训练图片、验证图片、训练图片的xml标签、验证图片的xml标签。
在darknet文件夹下建立2个txt文件————trainImageId.txt和validateImageId.txt,分别用来存放训练图片和测试图片的名称(含后缀不包含目录)。  这一步可以在上边4个文件夹手动建立完成的基础上调用python脚本自动完成,createID.py下载地址:https://code.csdn.net/snippets/2601808
把createdID.py文件放在darkent目录下直接运行就可以分别生成trainImageId.txt和validateImageId.txt

3. xml标签转换成txt/图片路径提取


训练需要把图片的xml格式标签转换成txt文件格式,并且需要把所有的训练和验证数据图片的路径提取到一个单独的txt文件里,供训练的时候读取,本步骤可以使用python脚本自动完成,trans.py下载地址:https://code.csdn.net/snippets/2601809
下载完成之后把 trans.py 放到darknet目录下,需要把 trans.py 中classes分类的内容改成自己的分类之后再运行即可。

运行之后生成一系列文件,分别是:
XXX.txt——存放训练/验证图片的xml标签转换成的txt文件,自动生成的所有训练和验证的txt文件保存在对应的trainImage和validateImage文件夹下;
trainImagePath.txt/validateImagePath.txt——存放训练/验证图片的名称(包含后缀)和完整路径;

4. 修改配置文件

4.1 修改cfg/voc.data文件

voc.data是整个训练流程的引入文件,记录了训练的 classes(分类)、train(训练数据)、valid(验证数据)、names(训练模型)、backup(训练结果保存路径)。根据自己的情况分别做以下更改:

  •    classes = N (N为自己的分类数量,有10类不同的对象,N = 10)
  •    train = /home/XXX/darknet/trainImagePath.txt
  •    valid = /home/XXX/darknet/validateImagePath.txt
  •    names = data/voc.names (需要修改原voc.names文件中参数)
  •    backup = backup (训练结果保存在darknet/backup/目录下)


4.2 修改data/voc.names文件

voc.names文件存放的是所有的分类,原始文件一共有20类,每类单独占一行,一共20行,根据自己的分类情况做更改,例如有3种分类,分别是class1、class2、class3,则更改voc.names文件为:
class1
class2
class3


4.3 修改cfg/yolo-voc.2.0.cfg文件

yolo-voc.2.0.cfg文件定义yolo训练使用的网络,有两处需要更改:

  •    classes = N (N为自己的分类数)
  •    最后一个convolutional层中 filters = (classes+ coords+ 1)* (NUM),classes是分类数,coords和NUM在 voc.2.0.cfg中分别设定为4和5,所以如果有3个分类,则修改filters的值为40((3+4+1)×5 =40 )


4.4 下载预训练卷积权重文件darknet19_448.conv.23

在该卷积权重文件的基础上做进一步的参数调整,下载地址: http://pjreddie.com/media/files/darknet19_448.conv.23
下载完成之后放在cfg文件夹目录下。

5. yolo训练

yolo默认训练会迭代45000次,训练之前可以根据自己的情况修改迭代次数,进入cfg/yolo_voc.2.0.cfg修改max_batches的值。
在darknet目录下执行训练命令:

./darknet detector train cfg/voc.data cfg/yolo-voc.2.0.cfg cfg/darknet19_448.conv.23

训练完成之后的权重文件保存在darknet/backup文件夹下。

6. 训练结果测试

运行以下命令执行测试:

./darknet detector test cfg/voc.data cfg/yolo-voc.2.0.cfg backup/yolo-voc_final.weights 01.jpg



7. 附


附 CreateID.py 和 trans.py 代码

CreateID.py:

# -*- coding: utf-8 -*-
import os;
import shutil;

def listname(path,idtxtpath):
    filelist = os.listdir(path);  # 该文件夹下所有的文件(包括文件夹)
    filelist.sort()
    f = open(idtxtpath, 'w');
    for files in filelist:  # 遍历所有文件
        Olddir = os.path.join(path, files);  # 原来的文件路径
        if os.path.isdir(Olddir):  # 如果是文件夹则跳过
            continue;
        f.write(files);
        f.write('\n');
    f.close();

savepath = os.getcwd()
imgidtxttrainpath = savepath+"/trainImageId.txt"
imgidtxtvalpath = savepath + "/validateImageId.txt"
listname(savepath + "/trainImage",imgidtxttrainpath)
listname(savepath + "/validateImage",imgidtxtvalpath)
print "trainImageId.txt && validateImageId.txt have been created!"

trans.py

import xml.etree.ElementTree as ET
import pickle
import string
import os
import shutil
from os import listdir, getcwd
from os.path import join
import cv2

sets=[('2012', 'train')]

classes = ["class1","class2","class3","class4"]

def convert(size, box):
    dw = 1./size[0]
    dh = 1./size[1]
    x = (box[0] + box[1])/2.0
    y = (box[2] + box[3])/2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x*dw
    w = w*dw
    y = y*dh
    h = h*dh
    return (x,y,w,h)

def convert_annotation(image_id,flag,savepath):

    if flag == 0:
        in_file = open(savepath+'/trainImageXML/%s.xml' % (os.path.splitext(image_id)[0]))
        out_file = open(savepath+'/trainImage/%s.txt' % (os.path.splitext(image_id)[0]), 'w')
        tree = ET.parse(in_file)
        root = tree.getroot()
        size = root.find('size')

        img = cv2.imread('./trainImage/'+str(image_id))
        h = img.shape[0]
        w = img.shape[1]

    elif flag == 1:
        in_file = open(savepath+'/validateImageXML/%s.xml' % (os.path.splitext(image_id)[0]))
        out_file = open(savepath+'/validateImage/%s.txt' % (os.path.splitext(image_id)[0]), 'w')

        tree = ET.parse(in_file)
        root = tree.getroot()
        size = root.find('size')

        img = cv2.imread('./validateImage/' + str(image_id))
        h = img.shape[0]
        w = img.shape[1]

    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult) == 1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))
        bb = convert((w,h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')

wd = getcwd()

for year, image_set in sets:
    savepath = os.getcwd();
    idtxt = savepath + "/validateImageId.txt";
    pathtxt = savepath + "/validateImagePath.txt";
    image_ids = open(idtxt).read().strip().split()
    list_file = open(pathtxt, 'w')
    s = '\xef\xbb\xbf'
    for image_id in image_ids:
        nPos = image_id.find(s)
        if nPos >= 0:
            image_id = image_id[3:]
        list_file.write('%s/validateImage/%s\n' % (wd, image_id))
        print(image_id)
        convert_annotation(image_id, 1, savepath)
    list_file.close()

    idtxt = savepath + "/trainImageId.txt";
    pathtxt = savepath + "/trainImagePath.txt" ;
    image_ids = open(idtxt).read().strip().split()
    list_file = open(pathtxt, 'w')
    s = '\xef\xbb\xbf'
    for image_id in image_ids:
        nPos = image_id.find(s)
        if nPos >= 0:
           image_id = image_id[3:]
        list_file.write('%s/trainImage/%s\n'%(wd,image_id))
        print(image_id)
        convert_annotation(image_id,0,savepath)
    list_file.close()

没有更多推荐了,返回首页