学习笔记--Yolo v4 训练数据集
1. 安装
参考资料：YoloV4训练数据集
1.1 设备版本号
使用如下命令可以查看系统的CMake、CUDA、OpenCV、cuDNN、GPU with CC版本号
cmake --version
cat /usr/local/cuda/version.txt
pkg-config opencv --modversion
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2
gcc --version
1.2 设置Makefile
打开darknet根目录下的 Makefile 文件，如下表所示设置里面参数
| 内容修改 | 不同情况 |
|---|---|
| GPU=1 | 用CUDA构建，用GPU加速（CUDA应该在/usr/local/CUDA中） |
| CUDNN=1 | 使用CUDNN v5-v7构建，使用GPU加速训练（CUDNN应在/usr/local/CUDNN中） |
| CUDNN_HALF=1 | 用于张量核（在泰坦V/Tesla V100/DGX-2及更高版本上）加速探测3x，训练2x |
| OPENCV=1 | 需要对YOLO进行调试 |
| OPENMP=1 | 使用OPENMP支持构建，使用多核CPU加速Yolo |
- 如果已经安装opencv的情况下，需要设置 OPENCV=1；
- 如果有Nvidia显卡并且已经安装相应版本CUDA与CUDNN时，设置 GPU=1 , CUDNN=1.
- 如果显卡为 Titan V / Tesla V100 / DGX-2 或者更新的产品时，设置 CUDNN_HALF=1;
- 多核CPU应用时，设置 OPENMP=1
1.3 编译
直接在 darknet 文件环境下，运行如下代码
make -j
2. 建立工作文件夹
按照下图所示建立相关文件夹和文件
├── JPEGImages
├── Annotations
├── labels
├── backup
├── data
│ ├── train.data
│ ├── train.names
│ ├── yolov4.cfg
│ ├── yolov4-tiny.cfg
├── darknet
├── gen_files.py
├── yolov4.conv.137
├── yolov4-tiny.conv.29
相关文件夹的作用
| 文件夹 | 作用 |
|---|---|
| JPEGImages | 用于存放训练需要使用的图片 |
| Annotations | 用于存放训练图片对应的XML标注文件 |
| labels | 用于存放YOLO格式的txt标注文件 |
| backup | 用于存放训练出来的模型文件 |
| data | 用于存放模型训练需要的一些参数文件 |
相关文件的作用
| 文件 | 作用 | 如何获取 |
|---|---|---|
| darknet | darknet可执行文件 | 编译darknet后，将darknet可执行文件拷贝进来 |
| gen_files.py | 用于对训练图片和标注进行处理归档 | 见下面的gen_files.py文件内容 |
| yolov4.conv.137 | yolov4在coco数据集上的预训练权重文件(不含yolo head层) | 自行下载 |
| yolov4-tiny.conv.29 | yolov4-tiny在coco数据集上的预训练权重文件(不含yolo head层) | 自行下载 |
| train.data | 训练数据 | 自行建立，一会在里面添加文本内容 |
| train.names | 训练的标签 | 自行建立，一会在里面添加文本内容 |
| yolov4.cfg | 训练YoloV4需要的结构文件 | 在darknet项目的cfg文件夹里，拷贝进来即可 |
| yolov4-tiny.cfg | 训练YoloV4-Tiny需要的结构文件 | 在darknet项目的cfg文件夹里，拷贝进来即可 |
文件下载 百度网盘：https://pan.baidu.com/s/1QOj3pyCV4uLs9lHGKwTg1A. 提取码：zxcv
文件包括：darknet、yolov4.conv.137、yolov4-tiny.conv.29
gen_files.py 内容如下
import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join
import random
# 类别列表
classes=["ball"]
# 递归清除Linux隐藏文件
def clear_hidden_files(path):
dir_list = os.listdir(path)
for i in dir_list:
abspath = os.path.join(os.path.abspath(path), i)
if os.path.isfile(abspath):
if i.startswith("._"):
os.remove(abspath)
else:
clear_hidden_files(abspath)
# PASCAL VOC格式的xml标注文件 转换为 YOLO格式的txt文本标注文件
def convert(size, box):
'''
size = (w, h)
box = (xmin, xmax, ymin, ymax)
'''
dw = 1./size[0]
dh = 1./size[1]
x = (box[0] + box[1])/2.0
y = (box[2] + box[3])/2.0
w = box[1] - box[0]
h = box[3] - box[2]
x = x*dw
w = w*dw
y = y*dh
h = h*dh
return (x,y,w,h)
# 执行单个标注文件的转换
def convert_annotation(image_id):
in_file = open('Annotations/%s.xml' %image_id)
out_file = open('labels/%s.txt' %image_id, 'w')
tree=ET.parse(in_file)
root = tree.getroot()
size = root.find('size')
w = int(size.find('width').text)
h = int(size.find('height').text)
for obj in root.iter('object'):
difficult = obj.find('difficult').text
cls = obj.find('name').text
if cls not in classes or int(difficult) == 1:
continue
cls_id = classes.index(cls)
xmlbox = obj.find('bndbox')
b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))
bb = convert((w,h), b)
out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')
in_file.close()
out_file.close()
# 当前目录
wd = os.getcwd()
# 检查是否存在Annotations文件夹
annotation_dir = os.path.join(wd, "Annotations/")
if not os.path.isdir(annotation_dir):
os.mkdir(annotation_dir)
# 清除隐藏文件
clear_hidden_files(annotation_dir)
# 检查是否存在JPEGImages文件夹
image_dir = os.path.join(wd, "JPEGImages/")
if not os.path.isdir(image_dir):
os.mkdir(image_dir)
# 清除隐藏文件
clear_hidden_files(image_dir)
# 检查是否存在backup文件夹
backup_dir = os.path.join(wd, "backup/")
if not os.path.isdir(backup_dir):
os.mkdir(backup_dir)
# 清除隐藏文件
clear_hidden_files(backup_dir)
# 检查是否存在labels文件夹
labels_dir = os.path.join(wd, "labels/")
if not os.path.isdir(labels_dir):
os.mkdir(labels_dir)
# 清除隐藏文件
clear_hidden_files(labels_dir)
# 新建文件train.txt、test.txt
# 存放需要训练和测试的完整文件路径
train_file = open(os.path.join(wd, "train.txt"), 'w')
test_file = open(os.path.join(wd, "test.txt"), 'w')
train_file.close()
test_file.close()
# 训练数据集
train_file = open(os.path.join(wd, "train.txt"), 'a')
# 测试数据集
test_file = open(os.path.join(wd, "test.txt"), 'a')
# 列出所有图片文件
list = os.listdir(image_dir)
# 设置训练集/测试集划分比例的随机数
probo = random.randint(1, 100)
print("Probobility: %d" % probo)
for i in range(0,len(list)):
path = os.path.join(image_dir,list[i])
if os.path.isfile(path):
image_path = image_dir + list[i]
# 根据文件名，得到没有后缀的文件名和后缀名
(nameWithoutExtention, extention) = os.path.splitext(os.path.basename(image_path))
# 标注文件名
annotation_name = nameWithoutExtention + '.xml'
# 标注文件地址
annotation_path = os.path.join(annotation_dir, annotation_name)
# 设置训练集/测试集划分比例的随机数
probo = random.randint(1, 100)
print("Probobility: %d" % probo)
# 训练集和测试集的划分，这里的75代表训练集/测试集的划分比例为75:25
# 训练集
if(probo < 75):
if os.path.exists(annotation_path):
# 在当前目录下的train.txt文本文件中，写入训练图片的完整地址
train_file.write(image_path + '\n')
# 执行标注格式转换
convert_annotation(nameWithoutExtention)
# 测试集
else:
if os.path.exists(annotation_path):
# 在当前目录下的test.txt文本文件中，写入训练图片的完整地址
test_file.write(image_path + '\n')
# 执行标注格式转换
convert_annotation(nameWithoutExtention)
# 文件操作结束后，关闭文件流
train_file.close()
test_file.close()
3. 准备训练数据集
- 将训练所需的图片拷贝至 JPEGImages 文件夹下
- 将训练图片对应的XML标注文件拷贝至 Annotations 下
- 修改gen_files.py中的classes为自己的标签
classes = ["frame"] //同.xml文件中的name
- 在终端运行gen_files.py
python3 gen_files.py
运行结果
| 文件 | 意义 |
|---|---|
| train.txt | 训练集图片的绝对地址的集合，一行一条 |
| test.txt | 测试集图片的绝对地址的集合，一行一条 |
| labels | JPEGImages 文件夹下每一个图像的 YOLO 格式的 txt 标注文件，是由Annotations 文件夹的 xml 标注文件转换来的 |
train.txt 和 test.txt 中的条目数的比例大致为之前设置的75:25
此时训练文件夹的目录树如下所示:
.
├── JPEGImages
├── Annotations
├── labels
├── backup
├── data
│ ├── train.data
│ ├── train.names
│ ├── yolov4.cfg
│ ├── yolov4-tiny.cfg
├── darknet
├── gen_files.py
├── yolov4.conv.137
├── yolov4-tiny.conv.29
├── train.txt
├── test.txt
最终训练只需要：
- train.txt
- test.txt
- labels 文件夹下的 txt 文本标注文件
- JPEGImages 文件夹下的图像文件
4. 修改配置文件
- 新建 data/train.names 文件
可以复制 darknet 目录下的 data/voc.names 到训练目录下的 data/train.names，再根据自己的情况修改
frame
- 新建 data/train.data 文件
可以复制 darknet 目录下的 cfg/coco.data 到训练目录下的 data/train.data，再根据自己的情况修改
classes = 1 //类别数
train = train.txt //训练集位置 相对于训练工作文件夹
valid = test.txt //测试集位置 相对于训练工作文件夹
names = data/train.names //names 文件位置
backup = backup //训练出来的模型的存放地址
eval = coco
- 新建 data/yolov4-tiny.cfg 文件
可以复制 darknet 目录下的 cfg/yolov4-tiny.cfg 到训练目录下的yolov4-tiny.cfg，再根据自己情况的修改
batch = 64
subdivisions = 32
max_batches = 4000
steps = 3200, 3600 //steps = max_batches * 80% ~ max_batches * 90%
width = 416
height = 416 //width , height 必须是32的倍数
[convolutional]
filters = 18 // filters = (类别 + 5) * 3 只修改每一个yolo层前一个的convolutional层中的filters
[yolo]
classes = 1 // 所有yolo层中的classes都需修改
cfg参数详解
[net] 层
[net]
batch=96 # 每次iteration训练的时候，输入的图片数量
subdivisions=48 # 将每一次的batch数量，分成subdivision对应数字的份数，一份一份的跑完后，在一起打包算作完成一次iteration
width=512 # 大小为32的倍数
momentum=0.9 # 动量，影响梯度下降到最优的速度，一般默认0.9
decay=0.0005 # 权重衰减正则系数，防止过拟合
angle=0 # 旋转角度，生成更多训练样本
saturation=1.5 # 调整饱和度
exposure=1.5 # 调整曝光度
hue=.1 # 调整色调
learning_rate=0.001
burn_in=1000 # 学习率控制的参数，在迭代次数大于burn_in时，采用policy的更新方式：0.001 * pow(iterations/1000, 4)
max_batches=500200 # 最大迭代次数
policy=steps
steps=400000,450000 # 学习率变动步长，Steps和scales相互对应, 这两个参数设置学习率的变化, 根据batch_num调整学习率
scales=.1,.1 # 学习率变动因子，迭代到400000次时，学习率x0.1; 450000次迭代时，学习率又会在前一个学习率的基础上x0.1
[shortcut] 层
[shortcut] # shortcut部分是卷积的跨层连接，就像Resnet中使用的一样
from=-2 # 参数from是−2，意思是shortcut的输出是通过与先前的倒数第二层网络相加而得到, 跨越连接
activation=linear
idx=6
route层
[route]
layers=-1, -3 # 在当前层引出之前卷积所得到的特征层，这里的-1，-3代表将前一层输出的feature和前第3层输出的feature concat以后再作为当前层的输出，也就是作为下一个卷积的输入。所以route输出的通道数要和下一个conv输入的通道一致
yolo层前的conv层
[convolutional]
batch_normalize=0 # BN，是否做BN操作
pad=1 # 如果pad为0,padding由padding参数指定
# 如果pad为1，padding大小为size/2，padding应该是对输入图像左边缘拓展的像素数量
filters=42 # =num(yolo层个数)*(classes+5)，5是5个坐标，<x_center> <y_center> <width> <height><object-class>
yolo层
[yolo]
mask=6,7,8 # anchors的索引值，如果mask的值是0,1,2，这意味着使用第一，第二和第三个anchor
anchors = 7, 10, 14, 24, 27, 43, 32, 97, 57, 64, 92, 109, 73, 175, 141, 178, 144, 291
classes=9 # 类别数目
focal_loss=1 # 使用focal loss
num=9 # 每个grid cell预测几个box,和anchors的数量一致
jitter=.3 # 通过抖动来防止过拟合
ignore_thresh=.7 # 当预测的检测框与ground true的IOU大于ignore_thresh的时候，参与loss的计算，否则，检测框的不参与损失计算
truth_thresh=1
random=1 # 多尺度训练：如果显存小，设置random=0，关闭多尺度训练；random设置成1，可以增加检测精度precision，每次迭代图片大小随机从原尺寸的/1.4到*1.4，步长为32，如果为0，每次训练大小与输入大小一致。当打开随机多尺度训练时，前面设置的网络输入尺寸width和height其实就不起作用了，尺寸会从原尺寸的0.77到1.46之间随机取值。每10轮随机改变一次，一般建议可以根据自己需要修改随机尺度训练的范围，这样可以增大batch，可以自行尝试！
cfg文件参数详解参考：cfg文件参数详解
5.训练自己的数据集
yolov4-tiny 训练命令：
./darknet detector train data文件地址 cfg文件地址 预训练权重文件(不含yolo head层) -map
如无须显示训练过程的map变化,命令末尾不加-map，即：
./darknet detector train data/train.data data/yolov4-tiny.cfg yolov4-tiny.conv.29
如需要显示训练过程的map变化,在命令末尾加-map，即：
./darknet detector train data/train.data data/yolov4-tiny.cfg yolov4-tiny.conv.29 -map
对于 yolov4 模型的训练，只需要把命令里的 cfg 配置文件和预训练权重文件替换为 yolov4 版本的就可以
6. 测试训练出来的网络模型
训练好后可以在backup目录下看到权重文件
测试图片
./darknet detector test data/train.data data/yolov4-tiny.cfg backup/yolov4-tiny_best.weights xxx.jpg
测试视频
./darknet detector demo data/train.data data/yolov4-tiny.cfg backup/yolov4-tiny_best.weights xxx.mp4
使用yolov4自带coco数据集检测视频
./darknet detector demo coco.data yolov4.cfg yolov4.weights
测试视频并保存结果
./darknet detector demo cfg/coco.data cfg/yolov4.cfg yolov4.weights test.avi -out_filename res.avi
7. 性能统计
模型的性能主要体现在：mAP
统计 mAP@IoU=0.50
./darknet detector map data/train.data data/yolov4-tiny.cfg backup/yolov4-tiny_best.weights
统计 mAP@IoU=0.75
./darknet detector map data/train.data data/yolov4-tiny.cfg backup/yolov4-tiny_best.weights -iou_thresh 0.75
8. Anchor Box先验框聚类分析与修改
- 使用k-means聚类获得自己数据集的先验框大小
对于YoloV4-Tiny:
./darknet detector calc_anchors data/train.data -num_of_clusters 6 -width 416 -height 416
对于YoloV4:
./darknet detector calc_anchors data/train.data -num_of_clusters 9 -width 416 -height 416
- 修改cfg文件中的先验框大小
cfg文件中的anchors位置的几个数字 - 重新训练和测试
9. 四轴 --radiolink-- 遥控器 --usblink-- 上位机 通信链路
9.1 串口通信
serial
串口设置
Serial (const std::string &port = " ",
uint32_t baudrate = 9600,
Timeout timeout = Timeout(),
bytesize_t bytesize = eightbits,
parity_t parity = parity_none,
stopbits_t stopbits = stopbits_one,
flowcontrol_t flowcontrol = flowcontrol_none);
列出 usb 端口号
./serial_example -e
使用serial 打开端口进行读和写的测试，分为两种情况
//没有给定发送的内容，默认写入8个字节
./serial_example /dev/ttyUSB0 115200
//指定发送内容
./serial_example /dev/ttyUSB0 115200 haha
darknet / image_opencv.cpp
#include<serial/serial.h> //ROS已经设置了的串口包
...
serial::Serial control_out; //声明串口对象是control_out
bool is_serial_port_open = false;
...
if(!is_serial_port_open)
{
try
{
//设置串口属性，并打开串口
control_out.setPort("/dev/ttyACM0");
control_out.setBaudrate(921600);
serial::Timeout to(1, 10, 0, 10, 0);
control_out.setTimeout(to);
control_out.open();
}
catch (serial::IOException& e)
{
cerr << e.what() << endl;
return;
}
is_serial_port_open = true;
}
9.2 按照检测框大小设置 pitch roll yaw thrust 并按通信协议打包
if ((b_width * b_height) < 8000 )
{
pitch = 4;
}
else if((b_width * b_height) > 20000)
{
pitch = -4;
}
else
{
pitch = 0;
}
if (b_x_center < 345 && b_x_center > 2)
{
yaw = -50;
roll = 0;
}
else if(b_x_center > 375 && b_x_center < 719)
{
yaw = +50;
roll = 0;
}
else
{
yaw = 0;
roll = 0;
}
if (y_c >= -20 && y_c <= 20)
{
y_c = 0;
}
else y_c = y_c;
thrust = -(y_c / 150) * 50.0; //,y*(-0.1)
thrust += 50.0;
thrust = limit(thrust, 0, 95);
roll = limit(roll, -2, 2);
trimPitch = 0.0;
trimRoll = 0.0;
//按通信协议打包
float data_send[6];
data_send[0] = roll_fix;//roll
data_send[1] = pitch_fix;//pitch
data_send[2] = yaw_fix;//yaw
data_send[3] = thrust_fix;//thrust
data_send[4] = 0;
data_send[5] = 0;
uint8_t data_ctrl[33];
data_ctrl[0] = 0xAA;
data_ctrl[1] = 0xAF;
data_ctrl[2] = 0x50;
data_ctrl[3] = 28;
data_ctrl[4] = REMOTOR_DATA;
memcpy(data_ctrl + 5, data_send, 24);
data_ctrl[29] = THREEHOLD_MODE;
data_ctrl[30] = X_MODE;
data_ctrl[31] = false;
data_ctrl[32]=0;
for (int i =0; i<32;i++){
data_ctrl[32]+=data_ctrl[i];
}
delay();
control_out.write(data_ctrl, 33);
std::cout << "Control Out Test" << std::endl;
printf("roll:%f,pitch:%f,yaw:%f,thrust:%f\nx_c:%f,y_c:%f,\n",data_send[0],data_send[1],data_send[2],data_send[3],x_c,y_c);
9.3 无线通信
四轴与遥控器 channel 匹配
因 四轴+遥控器 与 摄像头+图传模块 都是无线通信 会产生信道干扰 影响图像传输质量
遥控器 – MiniFly Remoter – Firmware_F103 V1.3 – config_param.h
#define RADIO_CHANNEL 2 //取值范围 0~255
#define RADIO_DATARATE DATA_RATE_250K
#define RADIO_ADDRESS 0x123456789AULL
四轴 – MiniFly Master – NRF51822 – config_param.h
#define RADIO_CHANNEL 2 //取值范围 0~255
#define RADIO_DATARATE esbDatarate250K
#define RADIO_ADDRESS 0x123456789AULL
3859
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
