darknet训练自己的数据集

参考博客https://blog.csdn.net/lilai619/article/details/79695109

 

系统环境　Ubuntu 16.04

－１．在制作数据时最好先将所有图片重新命名，这样会方便后面数据集的制作，比如这次我演示的是只训练一个杯子（也就是训练一个类），那么我把所有的图片的名字都改为bottle_*.jpg。这可以自己写一个脚本去重命名。制作好后如下图

 

０．先使用labelimg标注图片数据，把生成的xml文件放在同一个文件夹，比如名为xml

 

１．在自己喜欢的目录下新建一个文件夹，比如命名为voc_mybottle（因为自己要训练的数据是我的一个杯子）。在这个文件夹下新建一个名为images的文件（一定要是images，原因等下会说）。在新建一个叫labels的文件夹（一定要是labels）。把训练的所有图片放在images的文件夹中。（如第一张图）

2.为了方便我把images labels xml三个文件夹下，然后把下面这个python脚本放在同一个目录下然后执行，labels就会添加所有照片的labels.txt文件，和一个叫img_list.txt的文件，内容是所用图片的路径

#!/usr/bin/env python
# coding: utf-8

# In[3]:


import os

pre_path = os.getcwd()
print(pre_path)


# In[16]:


img_pre_path = pre_path + "/images"
print(img_pre_path)

IMG_txt = "img_list.txt"  
img_list = os.listdir(img_pre_path)

with open(IMG_txt, "w") as f:
    for index in img_list:
        img_path = img_pre_path + '/' + index
        print(img_path)
        f.write(img_path + '\n')
        
    


# In[39]:


import xml.etree.ElementTree as ET
xml_path = pre_path + '/xml'
label_pre_path = pre_path + '/labels'
xml_list = os.listdir(xml_path)
print(xml_path)
print(label_pre_path)
print(xml_list[3])
for index in xml_list:
    print(xml_path + '/' + index)


# In[41]:


classes = ["mybottle"]

def convert(size, box):
    print(size[0], size[1])
    dw = 1.0 / size[0]
    dh = 1.0 / size[1]
    x = (box[0] + box[1])/2.0
    y = (box[2] + box[3])/2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x*dw
    w = w*dw
    y = y*dh
    h = h*dh
    return (x,y,w,h)


def convert_xml(in_path, out_path):
    in_file = open(in_path)
    out_file = open(out_path, 'w')
    tree=ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    # w = int(size.find('width').text)
    # h = int(size.find('height').text)
    print("w,h", w, h)
    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult) == 1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))
        bb = convert((w,h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')


for index in xml_list:
    xml_file_path = xml_path + '/' +  index
    # print(index.split('.')[0])
    lable_txt_path = pre_path + '/labels/' + index.split('.')[0] + '.txt'
    print("xml:" + xml_file_path)
    print("label" + lable_txt_path)
    convert_xml(xml_file_path, lable_txt_path)

里面的内容是这样的

0 0.571875 0.500925925925926 0.3979166666666667 0.5851851851851853

代表物体的分类编号和两个坐标的ｘｙ在图片中的归一化的值

３．执行下面两句指令，使图片分成两份数据，分别为train和test两个数据的图片路径，１８是把头１８张图片归为train，１９以后的图片归为test，这里自行修改

cat img_list.txt | head -n 18 > train_list.txt
cat img_list.txt | tail -n +19 > test_list.txt
~                                                     

４．根据官网提示我们要制作一个xxx.data的文件，用来给程序传递参数的。

根据自己的需求建立

比如我的是voc_mybottle.data　内容为

---

classes = 1　# 训练一个类
train =<path>/voc_mybottle/train_list.txt　#path 自己电脑的路径
valid = <path>/voc_mybottle/test_list.txt
names = <path>/voc_mybottle/mybottle.names
backup = mybottle_backup      #自己在darknet下建立的mybottle_backup文件夹，用来放训练的模型

---

.names文件是用来存放分类的名字,在这里我只有一个mybottle的类，所以只有mybottle这行内容

5.修改关于训练的cfg文件，里面是关于网络的参数

因为这里我们用的是yolov3去训练voc格式数据，所以要修改darknet/cfg/yolov3-voc.cfg文件，为了方便我自己新创了一个mybottle_yolov3-voc.cfg文件。把yolov3-voc.cfg复制过来，改参数。主要改的参数是这些

按照需求改，这里可以去参考其他文章，这里不过多描述。

还有就是改网络结构，因为voc是有２０个类，而我现在是只有一个类，所以要把网络调整。每个yolo层都有一个filter＝７５的参数(3*(num_class + 5)), 这里改成１８（３×（１＋５））。一共要改３处。

到这里数据就准备好了。

最后一部是下载预权重文件放在darknet文件夹下

wget https://pjreddie.com/media/files/darknet53.conv.74

安装官网训练的例子进行修改运行的参数

cfg/voc.data修改成自己创建的.data文件路径，cfg/yolov3-voc.cfg修改成自己创建的.cfg文件路径。执行就能训练了

运行界面

 

 

每默认１００步保存一次模型，只保存十次模型，最后一次会被每次更新覆盖。

训练到此结束。

---

说一下我遇到的坑

在读取照片的时候遇到读取的labels中的文件不在images文件夹的问题。这很奇怪，于是我去找源码，发现一定要把图片的文件夹命名为images才能读取同一个目录下的labels文件夹中的文件

//data.c
void fill_truth_detection(char *path, int num_boxes, float *truth, int classes, int flip, float dx, float dy, float sx, float sy)
{
    char labelpath[4096];
    find_replace(path, "images", "labels", labelpath);
    find_replace(labelpath, "JPEGImages", "labels", labelpath);

    find_replace(labelpath, "raw", "labels", labelpath);
    find_replace(labelpath, ".jpg", ".txt", labelpath);
    find_replace(labelpath, ".png", ".txt", labelpath);
    find_replace(labelpath, ".JPG", ".txt", labelpath);
    find_replace(labelpath, ".JPEG", ".txt", labelpath);
    int count = 0;
    box_label *boxes = read_boxes(labelpath, &count);

第二个坑是训练好后，模型能识别物体，可是标签是错的

Loading weights from mybottle_backup/mybottle_yolov3-voc_200.weights...Done!
path/images/bottle_1.jpg: Predicted in 0.028537 seconds.
person: 89%
 

查了一下源码，发现原来是我用用了官网的测试图片的指令　detect 

./darknet detect cfg/yolov3.cfg yolov3.weights data/dog.jpg

 

// darknet.c
if (0 == strcmp(argv[1], "average")){
        average(argc, argv);
    } else if (0 == strcmp(argv[1], "yolo")){
        run_yolo(argc, argv);
    } else if (0 == strcmp(argv[1], "super")){
        run_super(argc, argv);
    } else if (0 == strcmp(argv[1], "lsd")){
        run_lsd(argc, argv);
    } else if (0 == strcmp(argv[1], "detector")){
        run_detector(argc, argv);
    } else if (0 == strcmp(argv[1], "detect")){
        float thresh = find_float_arg(argc, argv, "-thresh", .5);
        char *filename = (argc > 4) ? argv[4]: 0;
        char *outfile = find_char_arg(argc, argv, "-out", 0);
        int fullscreen = find_arg(argc, argv, "-fullscreen");
        test_detector("cfg/coco.data", argv[2], argv[3], filename, thresh, .5, outfile, fullscreen);
    } else if (0 == strcmp(argv[1], "cifar")){
        run_cifar(argc, argv);
    } else if (0 == strcmp(argv[1], "go")){
        run_go(argc, argv);
    } else if (0 == strcmp(argv[1], "rnn")){
        run_char_rnn(argc, argv);
    } else if (0 == strcmp(argv[1], "coco")){
        run_coco(argc, argv);

 

可以看到当使用detect参数时会使用coco.data，所以应该是调用了coco.data的数据，查看coco.data，第一个类果然是person。

于是换回测试的指令使用test参数，（文件路径是自己的路径）

./darknet detector test cfg/coco.data cfg/yolov3.cfg yolov3.weights data/dog.jpg

测试成功

（训练步数少，只是用来测试的，所以效果不好，别介意，哈哈哈哈）

但是这次以后只是用detect参数也回复正常了，不知道是什么原因。如果您知道，恳请赐教。