AI - darknet

darknet简介

1. darknet官网
   （1）比较小众的深度学习框架，没有社区，主要靠作者团队维护
2. 优点
   （1）易于安装：makefile配置需要的附加项（cuda，cudnn，opencv等）直接make完成安装；
   （2）没有任何依赖项：整个框架都用C语言进行编写，可以不依赖任何库
   （3）结构明晰，源代码查看、修改方便
      [1] src：框架的基础文件
      [2] include：框架的头文件
      [3] example：定义的检测、分类函数
      [4] cfg: 模型的架构，cfg类似 caffe 的prototxt文件, 定义整个模型的架构
      [5] data: 放置了一些label文件，含标签配置文件 voc.names.
      [6] python: python对模型的调用方法, 基本在darknet.py中
      [7] scripts: 脚本，如下载coco数据集，将voc格式的数据集转换为训练所需格式等
   （4）友好python接口：直接对训练好的.weight格式的模型进行调用；
   （5）易于移植
3. 编译文件：darknet程序，libdarknet.a 和 libdarknet.so
4. YOLO V3算法使用的骨干网络是Darknet53
   （1）骨干网络是目标检测任务的基本特征提取器，目标检测的主要任务是将图像作为输入并输出相应输入图像的特征图。
   （2）大多数用于检测的主干网络是用于分类任务的网络，这些任务连接最后的全连接层。
   （3）常用骨干网络：
      [1] 更深且连接密集：ResNet，ResNeXt，VGG等
      [1] 轻量级：ShuffleNet，MobileNetV2，Xception等

darknet 环境准备

1. 开发环境
   

2. 编译
   （1）Makefile默认是关闭GPU，opencv等功能，需修改对应功能的参数值。
   （2）显示图片,安装后安装opencv
      [1] sudo apt-get install libcanberra-gtk-module libgtk2.0-dev pkg-config
      [2] sudo apt install python-pip
      [3] pip install opencv-contrib-python
   （3）make clean && make
   （4）wget https://pjreddie.com/media/files/yolov3.weights
   （5）./darknet detect cfg/yolov3.cfg yolov3.weights data/person.jpg

3. 编译错误
   （1）cudnn.h: 没有那个文件或目录
      [1] 找到 cudnn.h 文件拷贝到 /usr/include
   (2) convolutional_layer.c:153:13: error: ‘CUDNN_CONVOLUTION_FWD_SPECIFY_WORKSPACE_LIMIT’ undeclared
      [1] 版本不匹配，降版本 v8.0.5 --> v7.6.3
   （3）opencv2/opencv.hpp: 没有那个文件或目录
      [1] 缺失opencv.pc配置信息文件, 默认寻找： pkg-config --cflags opencv4
      [2] sudo cp /usr/local/lib/pkgconfig/opencv4.pc /usr/local/lib/pkgconfig/opencv.pc
   （4）image_opencv.cpp:16:1: error: ‘IplImage’ does not name a type; did you mean ‘image’?
      [1] src/image_opencv.cpp 添加头文件：
        #include “opencv2/core/core_c.h”
       #include “opencv2/videoio/legacy/constants_c.h”
       #include “opencv2/highgui/highgui_c.h”
      [2] mat_to_image()函数内将 IplImage ipl = m; 改为 IplImage ipl = cvIplImage(m);
   （5）/usr/bin/ld: 找不到 -lcudnn
      [1] 库文件：cp libcudnn.so libcudnn.so.7 libcudnn.so.7.6.3 libcudnn_static.a /usr/local/cuda-10.1/targets/x86_64-linux/lib/libcudnn.so.7
   （6）libopencv_highgui.so.4.5: cannot open shared object file: No such file or directory
      [1] 描述：通过 ldd darknet 查看依赖的库，发现是 not found。
      [2] 解决：sudo vim /etc/ld.so.conf.d/opencv.conf
            添加目录：/usr/local/lib
            sudo ldconfig
   （7）sudo ldconfig 报错: /sbin/ldconfig.real: /usr/local/cuda-10.1/targets/x86_64-linux/lib/libcudnn.so.7 不是符号链接
      [1] cd /usr/local/cuda-10.1/targets/x86_64-linux/lib
        rm libcudnn.so.7 libcudnn.so
        sudo ln -sf libcudnn.so.7.6.3 libcudnn.so.7
        sudo ln -sf libcudnn.so.7 libcudnn.so

opencv安装

1. 查看信息：pkg-config --cflags opencv
2. 源码
   (1) opencv
   (2) opencv_contrib
   备注：将opencv_contrib 拷贝到opencv内
3. 安装 gstreamer
4. mkdir build
5. cmake -DCMAKE_BUILD_TYPE=RELEASE -DCMAKE_INSTALL_PREFIX=/usr/local -DOPENCV_EXTRA_MODULES_PATH=…/opencv_contrib/modules -DOPENCV_GENERATE_PKGCONFIG=ON —DWITH_CUDA=ON —DWITH_OPENGL=ON -DWITH_JPEG=ON -DWITH_OPENCL=ON -DWITH_OPENNI=ON -DWITH_TBB=ON —DWITH_PNG=ON -DWITH_TIFF=ON -DWITH_GSTREAMER=ON -DWITH_XIMEA=ON -DWITH_XINE=ON -DBUILD_opencv_python2=ON -DBUILD_opencv_python3=ON …
6. make && make install

darknet 训练

1. 标签文件：".txt"格式，每行表示一张图像的对象信息，格式为：
2. 数据配置文件：cfg/voc.data

classes = 2                              类别的个数
train   = /home/alg_test/train_list.txt  训练集的路径 (有对应的标注文件)
valid   = /home/alg_test/val_list.txt    验证集的路径
names   = ./voc.names                    类别的名字
backup  = ./backup                       模型输出

3. 网络配置文件：cfg/yolov3.cfg

batch=64              # 一批训练样本的样本数量，每batch个样本更新一次参数，epoch=total/batch=6464/64=101
width=416　　         # 模型输入尺寸，只可以设置成32的倍数
height=416　          # 模型输入尺寸，只可以设置成32的倍数
channels=3　　        # 灰度图为1，RGB为3 
decay=0.0005　        # 权重衰减正则项，防止过拟合
max_batches = 20000   # 建议跑200epoch, 101 * 200 = 24200
steps=7070,12120      # 开始衰减的步数，建议70, 120降低一次学习率, 101 * 70 = 7070, 101 * 120 = 12120
learning_rate=0.001   # 有预训练模型建议设置0.001 (如没有0.01)
scales=.1,.1          # 每次下降 0.1   (=0.001 * 0.1)
# 一共有3对 filters 和 classes 需要修改

[convolutional]
size=1
stride=1
pad=1
filters=21            # 3*(classes+1+4)
activation=linear

[yolo]
mask = 0,1,2
anchors = 10,13,  16,30,  33,23,  30,61,  62,45,  59,119,  116,90,  156,198,  373,326
classes=2             # 修改yolo的class参数

4. 类别信息文件：data/voc.names

person
bicycle
car
motorbike
aeroplane

5. 预训练模型
   （1）[下载地址](wget https://pjreddie.com/media/files/darknet53.conv.74)
   （2）训练数据前，可以基于官网提供的预训练权重文件进行训练
6. 训练模型

// 单GPU训练
./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg darknet53.conv.74

// loss-iter曲线, 输出日志重定向到文件内，根据文件内容生成对应的loss-iter曲线
./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg darknet53.weights | tee result/log/training.log

// 分析训练输出的日志信息, 分析训练参数的修改是否正常，是否需中断重新调整训练参数
// 对应的描述：iter：总损失，平均损失，学习率，花费时间，参与训练的图片总数
1: 629.763611, 629.763611 avg, 0.001000 rate, 6.098687 seconds, 64 images
2: 84.804230, 575.267700 avg, 0.001000 rate, 5.959159 seconds, 128 images

6. 模型测试

// 测试单张图片
./darknet detect voc.data yolov3-voc.cfg yolov3-voc.weights dog.jpg