darknet即YOLOv3基本使用

原文出处: https://blog.xugaoxiang.com/ai/darknet.html

软硬件环境

• Intel® Xeon® CPU E5-1607 v4 @ 3.10GHz
• GTX 1070 Ti 32G
• ubuntu 18.04 64bit
• anaconda with python 3.6
• darknet git version
• cuda 8.0
• opencv 3.1.0

Darknet简介

Darknet是一个用C和CUDA编写的开源的神经网络框架。安装起来非常快速、简单，并同时支持CPU和GPU。源码托管在github上，地址 https://github.com/pjreddie/darknet

YOLO

You Only Look Once (YOLO) 是目前最先进的、实时的物体检测系统，已经发展到了第三个版本，在速度和准确度上都有非常大的提升

安装Darknet

步骤非常简单, 以下是CPU版本

git clone https://github.com/pjreddie/darknet.git
cd darknet
make

如果需要GPU加速的话，需要修改Makefile, 将 GPU=0 改成 GPU=1，然后重新 make, 由于我的系统是最新的18.04版本，GCC版本已经升级到了7，编译中出现了如下错误

解决方法如下

在cuda 8.0中做一个gcc-5的一个软连接，非常方便。不建议去修改操作系统的默认gcc版本，风险太大

sudo ln -s /usr/bin/gcc-5 /usr/local/cuda/bin/gcc

关于CUDA的安装可以参考之前的一篇文章 http://xugaoxiang.com/post/117

同样的，如果需要opencv的支持，修改Makefile，将 OPENCV=0 改成 OPENCV=1，接着也是 make

如果需要debug, 修改 DEBUG=1, 很不幸我这里报了个错

解决方法是修改Makefile文件，大概是35行左右，将

ifeq ($(DEBUG), 1) 
OPTS=-O0 -g
endif

修改成

ifeq ($(DEBUG), 1) 
OPTS=-O4 -g
endif

这个是GCC编译器进行编译期优化的参数

我这编译的时候, Makefile 是这样的

GPU=1
OPENCV=1
DEBUG=1

Darknet命令行工具的使用

首先需要下载yolov3的weights文件, 这里给了2个链接, yolov3-tiny.weights是yolov3.weights的缩小版, 根据需要自行选择

wget https://pjreddie.com/media/files/yolov3.weights
wget https://pjreddie.com/media/files/yolov3-tiny.weights

检测图片中的物体

./darknet detect cfg/yolov3.cfg yolov3.weights data/dog.jpg

如果需要进行多张图片的连续检测,可以省略上述命令中的图片路径

使用摄像头检测物体

./darknet detector demo cfg/coco.data cfg/yolov3.cfg yolov3.weights

使用GPU加速,fps可以达到25

检测视频文件中的物体

./darknet detector demo cfg/coco.data cfg/yolov3.cfg yolov3.weights ~/Videos/pbs5e6.mkv

GPU加速的话,fps也能够达到25, 效果还是不错的, 简单测试了下, mp4和mkv封装格式都是支持的

设置检测阈值

增加参数 -thresh, 默认值是0.25, 数值越高检测越严格

weights训练

这里以PASCAL VOC数据集为例

准备数据集

wget https://pjreddie.com/media/files/VOCtrainval_11-May-2012.tar
wget https://pjreddie.com/media/files/VOCtrainval_06-Nov-2007.tar
wget https://pjreddie.com/media/files/VOCtest_06-Nov-2007.tar
tar xf VOCtrainval_11-May-2012.tar
tar xf VOCtrainval_06-Nov-2007.tar
tar xf VOCtest_06-Nov-2007.tar

生成label文件

首先我们需要生成darknet使用的label文件, 这是一个txt文件, 内容如下, 是跟图片宽度和高度相关的一组数据. 官方已经有了一个转换的脚步, 我们拉下来直接用

<object-class> <x> <y> <width> <height>

wget https://pjreddie.com/media/files/voc_label.py
python voc_label.py

执行完后, 在目录VOCdevkit/VOC2007/labels和VOCdevkit/VOC2012/labels下产生很多的label文件, 数据集中有多少图片就对应有多少label文件, 而在darknet根目录同时也生成了几个txt文件, 如下

一般来讲, 在进行数据集的训练时都会准备3份数据, 一份用作训练train, 一份用作验证val, 最后一份用来测试test, 这些文件仅仅指明了相应图片的路径. 这里把2007年的test保留, 其余的都拿来训练, 理论上讲, 训练数据越大, 效果越好, 这里的VOC大概有15000+张图片

cat 2007_train.txt 2007_val.txt 2012_*.txt > train.txt

编辑VOC数据集的配置文件

配置文件路径是cfg/voc.data, 主要是修改几个txt文件的路径, 如果需要增减class种类, 这里的classes也是需要修改的

classes= 20
train  = /home/longjing/Work/yolo3/darknet/train.txt
valid  = /home/longjing/Work/yolo3/darknet/2007_test.txt
names = data/voc.names
backup = backup

下载官方训练好的卷积层weights

在训练VOC的时候需要用到它

wget https://pjreddie.com/media/files/darknet53.conv.74

开始训练

修改cfg/yolov3-voc.cfg, 训练和测试采用不用的参数

[net]
# Testing
# batch=1
# subdivisions=1
# Training
batch=64
subdivisions=16

./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg darknet53.conv.74

weights文件成功生成, 在backup目录下

参考资料

1. https://pjreddie.com/darknet/install/
2. https://stackoverflow.com/questions/6622454/cuda-incompatible-with-my-gcc-version
3. https://www.youtube.com/watch?v=KD8fT49KXv8
4. https://groups.google.com/forum/#!topic/darknet/fQ2GQuibBA4
5. https://github.com/pjreddie/darknet/issues/492
6. https://pjreddie.com/darknet/yolo/
7. https://pjreddie.com/media/files/papers/YOLOv3.pdf@TOC

公众号