YOLOv3-Pytorch版本训练教程

开始前的说明

1.本教程主要参考

https://blog.csdn.net/sinat_27634939/article/details/89884011

感谢原博主

2.windows 10和ubuntu16.04 都可用

3.笔者教程以yolov3-tiny为例

环境配置

Pytorch ：https://pytorch.org/get-started/locally/
numpy
opencv-python
matplotlib
pycocotools
tqdm

基本上pip install 都能搞定，大家百度一下就可以

1.下载源码

github：
https://github.com/ultralytics/yolov3

压缩包下载或者git clone，都是基本操作。

2.下载训练过程中会用到的预权重

跑yolo需要 下载 darknet53.conv.74 到 weights 文件夹中
跑yolo-tiny需要 下载 yolov3-tiny.conv.15 到 weights 文件夹

下载地址：

https://drive.google.com/open?id=1uxgUBemJVw9wZsdpboYbzUN4bcRhsuAI

里面包含用到的所有权重，不过需要科学上网进Google Drive下载。

这里我给出百度云盘下载链接（仅有darknet53.conv.74和yolov3-tiny.conv.15）

链接：https://pan.baidu.com/s/19SqEfgGAfmFCiBFtOICbcg
提取码：bnwu

3.制作自己的数据集

1.图片标定

用到的工具是labelImg

去github上搜索labelImg按步骤安装
或者 直接

pip3 install labelImg

运行直接在cmd里执行

labelImg

运行界面如下：

标定的过程很简单，聪明的你瞎点几下就会了

记住以下四个快捷键会极大提高标定速度

ctrl+s	保存
d	下一张
a	上一张
w	开始标定

标定是一个体力活，标定完成之后 会得到 图片文件同名的xml 文件。

2.建立如下文件夹

在data目录下新建

把所有的xml文件放在 Annotations 中

把所有的图片文件放在 Images 中

（保证Images中的每一个jpg 都能在Annotations中找到同名的 xml文件）

3.提取训练集文件名

在data同级目录下新建 makeTx.py 文件

将以下代码复制进去

import os
import random
 
trainval_percent = 0.1
train_percent = 0.9
xmlfilepath = 'data/Annotations'
txtsavepath = 'data/ImageSets'
total_xml = os.listdir(xmlfilepath)
 
num = len(total_xml)
list = range(num)
tv = int(num * trainval_percent)
tr = int(tv * train_percent)
trainval = random.sample(list, tv)
train = random.sample(trainval, tr)
 
ftrainval = open('data/ImageSets/trainval.txt', 'w')
ftest = open('data/ImageSets/test.txt', 'w')
ftrain = open('data/ImageSets/train.txt', 'w')
fval = open('data/ImageSets/val.txt', 'w')
 
for i in list:
    name = total_xml[i][:-4] + '\n'
    if i in trainval:
        ftrainval.write(name)
        if i in train:
            ftest.write(name)
        else:
            fval.write(name)
    else:
        ftrain.write(name)
 
ftrainval.close()
ftrain.close()
fval.close()
ftest.close()

运行 makeTx.py 文件，会在ImageSets文件夹下生成四个 txt 文件

4.生成labels及完整文件路径

在data同级目录下创建 voc_label.py 文件

将下列代码复制进去

import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join
 
sets = ['train', 'test','val']
 
classes = ["collector"]
 
 
def convert(size, box):
    dw = 1. / size[0]
    dh = 1. / size[1]
    x = (box[0] + box[1]) / 2.0
    y = (box[2] + box[3]) / 2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x * dw
    w = w * dw
    y = y * dh
    h = h * dh
    return (x, y, w, h)
 
 
def convert_annotation(image_id):
    in_file = open('Annotations/%s.xml' % (image_id))
    out_file = open('data/labels/%s.txt' % (image_id), 'w')
    tree = ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)
 
    for obj in root.iter('object'):
        difficult = obj.find('Difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult) == 1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
             float(xmlbox.find('ymax').text))
        bb = convert((w, h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')
 
 
wd = getcwd()
print(wd)
for image_set in sets:
    if not os.path.exists('data/labels/'):
        os.makedirs('data/labels/')
    image_ids = open('data/ImageSets/%s.txt' % (image_set)).read().strip().split()
    list_file = open('data/%s.txt' % (image_set), 'w')
    for image_id in image_ids:
        list_file.write('images/%s.jpg\n' % (image_id))
        convert_annotation(image_id)
    list_file.close()

需要修改的：

第一处

classes改成你要训练的类别名，有几类就写几个，逗号隔开，如下

classes =["class_a","class_b" ]

第二处

打开任意一个你要用的xml文件，找到Difficult

看xml中开头字母是大写还是小写，如果是difficult，就把上图36行改成difficult，不改后期会报错

第三处

对照路径，看是否和你创建的文件夹名称对应，一般不需要修改

全部修改完成后，运行 voc_label.py 文件

会在 data 目录 下生成

打开train.txt可以看到

里面包含了所有训练集图片的相对路径

进行下一步

4.修改参数

1.修改cfg文件

打开cfg目录下的yolov3-tiny.cfg

搜索 yolo

会返回两处结果

以其中一处为例

修改规则：

1. classes的数改为你实际的类别数，我是一类，所以就是1
2. 上面的filters 改成 3*（classes+5） ，我的classes =1 ，所以是 3*（1+5）=18
3. 一共修改四处，两处classes，两处filters

2.新建data和names文件

在data目录下，新建collector.names 和 collector.data 文件，也可以直接在原有的 data和 names 文件上修改

里面写这些东西

collector.names中写你的所有类名，一类一行

collector.data 中

老样子：
classes是你的类别数
train是你 训练集图片相对路径存储的txt文件
valid 同上
names 是你 类名 所在的路径
backup 是你 缓存 放的地方，不用改
eval是测评标准，也不用改
如果是按教程走的话，改的和上图一模一样就行 ，注意路径中是 \ 不是 /

5.开始训练

至此，所有的准备工作完成，我们开始训练

此时所有的目录结构如下所示：

打开 train.py

epoch 是你训练的 轮数
batch-size 决定你 所有 训练集分成几组， 我1070 显卡8G显存 batch-size =32 没有问题，越大越快，但我丝毫没有感觉(╥╯^╰╥)
cfg 就是你修改的那个 cfg文件
data 也是你新建的那个 data
改完这四个

python train.py

就可以开始训练啦

如果你不想改代码

那么也可以这样运行

python train.py --data-cfg cfg/yolov3-tiny.cfg --data data/collector.data

至此就是漫长的等待

默认epoch 每过十轮 会 保存一次权重 ，可以在 train.py 中修改

所有权重都被保存到 weights 文件夹中

运行时截图：

目标较为简单，笔者个人感觉 total loss 在1 左右基本够用

6.笔者遇到的问题

1. ‘No labels found. Incorrect label paths provided.’ AssertionError: No labels found. Incorrect label paths provided.

在原作者repo上有同样的issue：

https://github.com/ultralytics/yolov3/issues/318

解决：网上重新找了份 voc_label.py重新生成label文件就好了

2.division by zero

解决：训练用的图片名程过长 ，修改成短的就好了，然后重新生成train.txt 文件

3. No such file or directory: ‘data\data/test.shapes’

该问题往往会在第一轮训练完成之后出现

解决：删除data里原有的 test.shapes 就好了。很玄学

4.未完待续

---

以上为我在配置yolov3 pytorch 的一点经历，只是机械的配置，涉及到的原理性的东西较少，很是惭愧。
加上时间久远，有些坑已经遗忘，上述配置过程甚至有可能有错误的地方，欢迎大家指正。