yolov3 指定gpu_YOLO v3训练自己的数据集(GPU)

环境：Ubuntu 16.04 + CUDA8.0 + cudnn5.1

下载模型：

git clone https://github.com/pjreddie/darknet

cd darknet

修改Makefile文件配置：

在darknet目录下

gedit Makefile

GPU=1 #如果使用GPU设置为1，CPU设置为0

CUDNN=1 #如果使用CUDNN设置为1，否则为0

OPENCV=1 #如果调用摄像头或显示图片，还需要设置OPENCV为1，否则为0

OPENMP=0 #如果使用OPENMP设置为1，否则为0

DEBUG=0 #如果使用DEBUG设置为1，否则为0

ARCH= -gencode arch=compute_30,code=sm_30 \

-gencode arch=compute_35,code=sm_35 \

-gencode arch=compute_50,code=[sm_50,compute_50] \

-gencode arch=compute_52,code=[sm_52,compute_52]

# -gencode arch=compute_20,code=[sm_20,sm_21] \ This one is deprecated?

# This is what I use, uncomment if you know your arch and want to specify

ARCH= -gencode arch=compute_61,code=compute_61 #取消此行注释并将52改为61，因为我的GPU是1050Ti和1080Ti，具体GPU算力是多少可以百度

... ...

NVCC=/home/user/cuda-8.0/bin/nvcc #NVCC=nvcc 修改为自己的路径

... ...

COMMON+= -DGPU -I/home/hebao/cuda-8.0/include/ #修改为自己的路径，我的这部分改为cuda也能运行

CFLAGS+= -DGPU

LDFLAGS+= -L/home/hebao/cuda-8.0/lib64 -lcuda -lcudart -lcublas -lcurand #修改为自己的路径

编译：

在darknet目录下

make

若前面的路径错误或GPU算力不匹配都会报错，在服务器上跑的话将Makefile中的opencv置0，否则报错。

下载权重，运行demo：

在darknet目录下

wget https://pjreddie.com/media/files/yolov3.weights

./darknet detector test cfg/coco.data cfg/yolov3.cfg yolov3.weights data/dog.jpg

若demo运行成功，则说明没问题。

制作自己的VOC数据集：

详见另一篇文章。

这里说一下，我用的VOC2007数据集，一般只需要将Annotations替换为自己的xml文件，JPEGImages替换为自己的.jpg图片即可。

需要注意的是VOCdevkit文件目录在darknet下。

下载voc_label.py文件：

在darknet目录下：

wget https://pjreddie.com/media/files/voc_label.py

gedit voc_label.py

修改文件：

sets=[('2007', 'train'), ('2007', 'test'), ('2007', 'val')] #删除2012的部分

classes = ["man", "woman"] #设置为自己的类别

运行修改的voc_label.py文件：

python voc_label.py

将会发现darknet目录下会出现几个.txt文件，然后将其合在一起：

cat 2007_train.txt 2007_val.txt > train.txt

此时会发现darknet目录下出现了一个train.txt文件

修改voc.data文件：

gedit cfg/voc.data

classes= 2 #你的数据及类别

train = /home/pxt/darknet/train.txt #上步产生的train.txt文件路径

valid = /home/pxt/darknet/test.txt #上步生成的test.txt文件路径

names = data/voc.names

backup = backup

修改voc.names文件：

gedit data/voc.names

man #自己的数据集标签

woman

修改yolov3-voc.cfg文件：

gedit cfg/yolov3-voc.cfg

# Testing

#batch=1 #注释测试

#subdivisions=1

# Training

batch=32 #取消测试，现存小的话将batch改小，subdivisions变大

subdivisions=16

还有3处位置都需要修改,可以在gedit下ctrl+f查找yolo找到这三处：

[convolutional]

size=1

stride=1

pad=1

filters=21 # 3*(类别数+5) 我的类别是2类，所以是21

activation=linear

[yolo]

mask = 6,7,8

anchors = 10,13, 16,30, 33,23, 30,61, 62,45, 59,119, 116,90, 156,198, 373,326

classes=2 #修改类别数

num=9

jitter=.3

ignore_thresh = .5

truth_thresh = 1

random=1 #若现存较小，可将此项设为0，不改不影响

下载预训练权重：

wget https://pjreddie.com/media/files/darknet53.conv.74

开始训练：

训练前可以修改迭代次数：

vim yolov3-voc.cfg

打开文件内容如下：

[net]

# Testing

#batch=1

#subdivisions=1

# Training

batch=64

subdivisions=16

width=416

height=416

channels=3

momentum=0.9

decay=0.0005

angle=0

saturation = 1.5

exposure = 1.5

hue=.1

learning_rate=0.001

burn_in=1000

max_batches = 50200 #在此处修改最大迭代数，我的设置为20000

policy=steps

steps=40000,45000

scales=.1,.1

然后进行训练：

./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg darknet53.conv.74

训练的模型将保存在darknet/backup路径下

若模型训练一半后中断，想要接着上次的结果继续训练，则可执行如下命令：

./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg backup/yolov3-voc_20000.weights -gpus 1

即选用最新保存的模型进行训练，但超过10000次后每10000次才保存一次模型，所以如果上次运行到19999次迭代时中断，则只能从第10000次迭代保存的模型处开始训练，修改保存模型的间隔的方法暂时未找。

选择图片测试模型：

测试前先打开yolov3-voc.cfg文件修改测试数据：

vim yolov3-voc.cfg

然后修改如下：

[net]

# Testing

batch=1 #取消注释这两行

subdivisions=1

# Training #注释这两行

#batch=64

#subdivisions=16

测试任意图片：

./darknet detector test cfg/voc.data cfg/yolov3-voc.cfg backup/yolov3-voc_20000.weights VOCdevkit/VOC2007/JPEGImages/000123.jpg

注：test是指测试，backup/yolov3-voc_20000.weights是指选取的模型路径，这里我选用了迭代20000次时保存的权重模型，VOCdevkit/VOC2007/JPEGImages/000123.jpg是我选用的测试图片路径，随意选择了一张VOC数据集中的训练图片，如果要像demo一样运行的话可以将要测试的图片保存在data文件夹下。

到此为止，已经可以用训练了自己的数据集的YOLO权重模型来测试任意一张图片，但这里还有一个问题，就是显示出检测后的图片时无法保存图像，且这个方法每次都只能测试一张图片，如何批量化测试多张图片并保存结果呢？下面将进行介绍。

批量化测试图片并保存：

这里需要修改darknet/examples目录下的detector.c文件

step1:

在文件开头添加*GetFilename(char *p)函数如下：

#include "darknet.h"

static int coco_ids[] = {1,2,3,4,5,6,7,8,9,10,11,13,14,15,16,17,18,19,20,21,22,23,24,25,27,28,31,32,33,34,35,36,37,38,39,40,41,42,43,44,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,67,70,72,73,74,75,76,77,78,79,80,81,82,84,85,86,87,88,89,90};

char *GetFilename(char *p) //此函数为在原文件中新加的

{

static char name[20]={""};

char *q = strrchr(p,'/') + 1;

strncpy(name,q,6);//注意后面的6，如果你的测试集的图片的名字字符(不包括后缀)是其他长度，请改为你需要的长度(官方的默认的长度是6)

return name;

}

step2:

将detector.c继续往下翻，找到test_detector函数修改如下：

由于修改的地方比较多，不便一一标注，故建议直接复制粘贴替换之，但注意修改里面的三个路径，该路径为你要保存批处理操作后的图片检测结果的文件路径。

void test_detector(char *datacfg, char *cfgfile, char *weightfile, char *filename, float thresh, float hier_thresh, char *outfile, int fullscreen)

{

list *options = read_data_cfg(datacfg);

char *name_list = option_find_str(options, "names", "data/names.list");

char **names = get_labels(name_list);

image **alphabet = load_alphabet();

network *net = load_network(cfgfile, weightfile, 0);

set_batch_network(net, 1);

srand(2222222);

double time;

char buff[256];

char *input = buff;

float nms=.45;

int i=0;

while(1){

if(filename){

strncpy(input, filename, 256);

image im = load_image_color(input,0,0);

image sized = letterbox_image(im, net->w, net->h);

//image sized = resize_image(im, net->w, net->h);

//image sized2 = resize_max(im, net->w);

//image sized = crop_image(sized2, -((net->w - sized2.w)/2), -((net->h - sized2.h)/2), net->w, net->h);

//resize_network(net, sized.w, sized.h);

layer l = net->layers[net->n-1];

float *X = sized.data;

time=what_time_is_it_now();

network_predict(net, X);

printf("%s: Predicted in %f seconds.\n", input, what_time_is_it_now()-time);

int nboxes = 0;

detection *dets = get_network_boxes(net, im.w, im.h, thresh, hier_thresh, 0, 1, &nboxes);

//printf("%d\n", nboxes);

//if (nms) do_nms_obj(boxes, probs, l.w*l.h*l.n, l.classes, nms);

if (nms) do_nms_sort(dets, nboxes, l.classes, nms);

draw_detections(im, dets, nboxes, thresh, names, alphabet, l.classes);

free_detections(dets, nboxes);

if(outfile)

{

save_image(im, outfile);

}

else{

save_image(im, "predictions");

#ifdef OPENCV

//cvNamedWindow("predictions", CV_WINDOW_NORMAL);

//if(fullscreen){

//cvSetWindowProperty("predictions", CV_WND_PROP_FULLSCREEN, CV_WINDOW_FULLSCREEN);

// }

// show_image(im, "predictions");

// cvWaitKey(0);

// cvDestroyAllWindows();

#endif

}

free_image(im);

free_image(sized);

if (filename) break;

}

else {

printf("Enter Image Path: ");

fflush(stdout);

input = fgets(input, 256, stdin);

if(!input) return;

strtok(input, "\n");

list *plist = get_paths(input);

char **paths = (char **)list_to_array(plist);

printf("Start Testing!\n");

int m = plist->size;

if(access("/home/pxt/darknet/data/out",0)==-1)//"/home/FENGsl/darknet/data"修改成自己的路径

{

if (mkdir("/home/pxt/darknet/data/out",0777))//"/home/FENGsl/darknet/data"修改成自己的路径

{

printf("creat file bag failed!!!");

}

}

for(i = 0; i < m; ++i){

char *path = paths[i];

image im = load_image_color(path,0,0);

image sized = letterbox_image(im, net->w, net->h);

//image sized = resize_image(im, net->w, net->h);

//image sized2 = resize_max(im, net->w);

//image sized = crop_image(sized2, -((net->w - sized2.w)/2), -((net->h - sized2.h)/2), net->w, net->h);

//resize_network(net, sized.w, sized.h);

layer l = net->layers[net->n-1];

float *X = sized.data;

time=what_time_is_it_now();

network_predict(net, X);

printf("Try Very Hard:");

printf("%s: Predicted in %f seconds.\n", path, what_time_is_it_now()-time);

int nboxes = 0;

detection *dets = get_network_boxes(net, im.w, im.h, thresh, hier_thresh, 0, 1, &nboxes);

//printf("%d\n", nboxes);

//if (nms) do_nms_obj(boxes, probs, l.w*l.h*l.n, l.classes, nms);

if (nms) do_nms_sort(dets, nboxes, l.classes, nms);

draw_detections(im, dets, nboxes, thresh, names, alphabet, l.classes);

free_detections(dets, nboxes);

if(outfile){

save_image(im, outfile);

}

else{

char b[2048];

sprintf(b,"/home/pxt/darknet/data/out/%s",GetFilename(path));//"/home/FENGsl/darknet/data"修改成自己的路径

save_image(im, b);

printf("save %s successfully!\n",GetFilename(path));

#ifdef OPENCV

//cvNamedWindow("predictions", CV_WINDOW_NORMAL);

//if(fullscreen){

// cvSetWindowProperty("predictions", CV_WND_PROP_FULLSCREEN, CV_WINDOW_FULLSCREEN);

// }

// show_image(im, "predictions");

//cvWaitKey(0);

//cvDestroyAllWindows();

#endif

}

free_image(im);

free_image(sized);

if (filename) break;

}

}

}

}

step3:

打开中端进入/darknet目录下，进行重新编译：

make

若编译通过，则可进行下一步，编译中可能有warning，不用理会，不影响最终结果。

step4:

将想要测试的图片路径，放到一个.txt文档中，比如新建一个.txt文档：

vim test.txt

然后将测试图片的路径放到该文件中。

step5:

运行测试：

本操作是在darknet目录下进行

./darknet detector test cfg/voc.data cfg/yolov3-voc.cfg yolov3-voc_final.weights

运行加载模型成功后提示你在中断输入图片路径：

Loading weights from yolov3-voc_final.weights...Done!

Enter Image Path:

将刚才新建的test.txt文件路径输入按回车即可。

或者也可以将训练时生成的2007_test.txt文件路径输入

如我的2007_test.txt文件即放在darknet路径下，输入如下：

Enter Image Path: 2007_test.txt

按回车后即开始批量测试。

按照前面修改detector.c文件时设置的检测后图片保存路径，我将图片保存在data/out路径下，测试结束后即可在该文件夹下看到保存的图片。