文章目录
1. 安装
1.1 模型安装
YOLO v3的安装与YOLO v2的安装方法一样
git clone https://github.com/pjreddie/darknet
直接使用上边的命令下载YOLO安装包。下载完以后,打开进入到安装包路径内
cd darknet
如果机器有使用GPU加速的环境,以及安装OPENCV了,需要做一下修改
gedit Makefile
使用gedit打开编译文件,将文件前几行中,对应的GPU、CUDNN、OPENCV由0变为1;
GPU=1
CUDNN=1
OPENCV=1
对Makefile修改结束以后,就可以进行安装。
make -j
下载YOLO v3权重
wget https://pjreddie.com/media/files/yolov3.weights
1.2 运行Demo
运行Demo查看运行是否成功。
./darknet detect cfg/yolov3.cfg yolov3.weights data/dog.jpg
2.训练自己的数据集
2.1数据集准备
首先将自己的数据集生成为VOC数据集的格式,至少生成如下格式的文件夹
Annotations
ImageSets
--Main
--test.txt
--train.txt
--trainval.txt
--val.txt
JPEGImages
接着将上边四个文件夹放在/darknet/scripts/VOCdevkit/VOC2007
内,这个文件夹需要自己来创建一个。接着对/darknet/scripts/voc_label.py
进行修改。
第一处
修改第7行
sets=[('2012', 'train'), ('2012', 'val'), ('2007', 'train'), ('2007', 'val'), ('2007', 'test')]
```shell
将“('2012', 'train'), ('2012', 'val'),”删除掉,改为
```shell
sets=[('2007', 'train'), ('2007', 'val'), ('2007', 'test')]
第二处
修改第9行
classes = ["aeroplane", "bicycle", "bird", "boat", "bottle", "bus", "car", "cat", "chair", "cow", "diningtable", "dog", "horse", "motorbike", "person", "pottedplant", "sheep", "sofa", "train", "tvmonitor"]
修改为自己检测目标类别名称
完成修改以后可运行文件,生成YOLO训练时使用的labels
python voc_label.py
运行结束以后,可以在/darknet/scripts/VOCdevkit/VOC2007
文件夹内看到labels
文件夹,并且在/darknet/scripts
文件夹内会生成2007_train.txt、2007_test.txt、2007_val.txt
三个文件。到此,数据准备完成。
2.2修改配置文件
./darknet detector train cfg/voc.data cfg/yolo-voc.cfg darknet19_448.conv.23
上边是进行训练的命令,可以按照上边的命令对文件进行修改。
2.2.1修改cfg/voc.data
classes= 3 //修改为训练分类的个数
train = /home/ws/darknet/scripts/2007_train.txt //修改为数据阶段生成的2007_train.txt文件路径
valid = /home/ws/darknet/scripts/2007_val.txt //修改为数据阶段生成的2007_val.txt文件路径
names = data/voc.names
backup = backup
2.2.2修改data/voc.names
在上边修改的文件内有一个data/voc.names文件,里边保存目标分类的名称,修改为自己类别的名称即可。
2.2.3修改cfg/yolo-voc.cfg
第一处
文件开头的配置文件可以按照下边的说明进行修改
# Testing
#batch=1
#subdivisions=1
# Training
batch=64 //每次迭代要进行训练的图片数量 ,在一定范围内,一般来说Batch_Size越大,其确定的下降方向越准,引起的训练震荡越小。
subdivisions=8 //源码中的图片数量int imgs = net.batch * net.subdivisions * ngpus,按subdivisions大小分批进行训练
height=416 //输入图片高度,必须能被32整除
width=416 //输入图片宽度,必须能被32整除
channels=3 //输入图片通道数
momentum=0.9 //冲量
decay=0.0005 //权值衰减
angle=0 //图片角度变化,单位为度,假如angle=5,就是生成新图片的时候随机旋转-5~5度
saturation = 1.5 //饱和度变化大小
exposure = 1.5 //曝光变化大小
hue=.1 //色调变化范围,tiny-yolo-voc.cfg中-0.1~0.1
learning_rate=0.001 //学习率
burn_in=1000
max_batches = 120200 //训练次数
policy=steps //调整学习率的策略
steps=40000,80000 //根据batch_num调整学习率,若steps=100,25000,35000,则在迭代100次,25000次,35000次时学习率发生变化,该参数与policy中的steps对应
scales=.1,.1 //相对于当前学习率的变化比率,累计相乘,与steps中的参数个数保持一致;
注意:如果修改max_batches总的训练次数,也需要对应修改steps,适当调整学习率。
具体的含义可以查看YOLO网络中参数的解读
第二处
修改107行最后一个卷积层中filters,按照filter=5*(classes+5)来进行修改。如果类目为3,则为5*(3+5)=40。
[convolutional]
size=1
stride=1
pad=1
filters=40 //计算公式为:filter=3*(classes+5)
activation=linear
第三处
修改类别数,直接搜索关键词“classes”即可,全文就一个。
classes=3
2.3 训练
./darknet detector train cfg/voc.data cfg/yolo-voc.cfg darknet19_448.conv.23 >> log.txt
输入上边的指令就可以进行训练,在命令最后的命令>> log.txt是将输出的日志保存到log.txt文件内,这样便于后期训练结果的查看。
3. 测试
3.1 单张图像测试
./darknet detect cfg/yolo-voc.cfg backup/yolo-voc_final.weights data/dog.jpg
./darknet detect [训练cfg文件路径] [权重文件路径] [检测图片的路径]
按照上边的规整进行填写即可。
3.2多张图像测试
由于博主能力有限,修改YOLO内部文件失败,只能使用shell写命令来进行重复单张测试的命令
input_data_folder="./data/VOCdevkit/VOC2007/JPEGImages/"
output_data_folder="./results/CD8"
file_name_tmp=`ls $input_data_folder`
file_names=($(echo $file_name_tmp));
for filename in ${file_names[@]}
do
echo "testing $file ..."
./darknet detector test cfg/inst25.data cfg/yolo-voc.cfg backup/yolo-voc_final.weights $input_data_folder$filename -thresh .3 -gpu 0,1 >> result.txt
mv predictions.png ./results/CD8_final_thresh_0.3/$filename'.png'
done
修改相应自己存储图片的路径就可以进行测试 。
3.3 测试数据集测试mAP、recall等参数
./darknet detector valid cfg/voc.data cfg/voc.cfg backup/voc_final.weights -out result_ -gpu 0 -thresh .5
./darknet detector valid [data路径] [cfg路径] [权重文件路径] -out [生成txt文件前缀] -gpu [GPU的ID号] -thresh [门限的大小]
按照上边的规则对测试数据集进行测试,会在result文件夹内生成相应的相应检测结果的文件。
下边借助Faster R-CNN中voc_eval.py文件进行参数测试。
from voc_eval import voc_eval
rec, prec, ap, fp, tp, nobj = voc_eval('/home/app/darknet/results/result_ {}.txt', '/home/app/darknet/scripts/VOCdevkit/VOC2007/Annotations/{}.xml',
'/home/app/darknet/scripts/VOCdevkit/VOC2007/ImageSets/Main/test.txt', 'Target1', '.')
print("class name: " + classname)
print("Average Precision: " + str(ap))
print("True Positive: " + str(tp))
print("False Positive: " + str(fp))
首先将上边的命令新建一个python文件,同时将Faster R-CNN中voc_eval.py文件放在一个文件夹内,这个文件可以能在Github中不能找到,可以去CSDN下载。
命令参数总结
训练模型
单GPU训练
./darknet -i <gpu_id> detector train <data_cfg> <train_cfg> <weights>
举例:
./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg darknet53.conv.74
多GPU训练
格式为:
./darknet detector train <data_cfg> <model_cfg> <weights> -gpus <gpu_list>
举例
./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg darknet53.conv.74 -gpus 0,1,2,3
测试图片
测试单张图片
./darknet detector test <data_cfg> <test_cfg> <weights> <image_file>
<test_cfg>文件中batch和subdivisions两项必须为1。
测试时还可以用-thresh和-hier选项指定对应参数。
生成预测结果
./darknet detector valid <data_cfg> <test_cfg> <weights> <out_file>
<test_cfg>文件中batch和subdivisions两项必须为1。
结果生成在<data_cfg>的results指定的目录下以<out_file>开头的若干文件中,若<data_cfg>没有指定results,那么默认为<darknet_root>/results。
计算recall(执行这个命令需要修改detector.c文件,修改信息请参考“detector.c修改”)
./darknet detector recall <data_cfg> <test_cfg> <weights>
<test_cfg>文件中batch和subdivisions两项必须为1。
输出在stderr里,重定向时请注意。
RPs/Img、IOU、Recall都是到当前测试图片的均值。
detector.c中对目录处理有错误,可以参照validate_detector对validate_detector_recall最开始几行的处理进行修改。
Error
/bin/sh: 1: nvcc: not found
当安装在CUDA10.1的情况下会报下边的错误,这时候需要将Makefile
文件中的NVCC
NVCC=nvcc
修改为下边的格式:
NVCC=/usr/local/cuda-10.1/bin/nvcc
./darknet: error while loading shared libraries: libcurand.so.10.0: cannot open shared object file: No such file or directory
使用下边的命令进行修正
sudo cp /usr/local/cuda-10.0/lib64/libcudart.so.10.0 /usr/local/lib/libcudart.so.10.0 && sudo ldconfig
sudo cp /usr/local/cuda-10.0/lib64/libcublas.so.10.0 /usr/local/lib/libcublas.so.10.0 && sudo ldconfig
sudo cp /usr/local/cuda-10.0/lib64/libcurand.so.10.0 /usr/local/lib/libcurand.so.10.0 && sudo ldconfig