YOLO-cfg调参经验

# Testing(此处下面的两行，测试的时候开启即可)
#batch=1                 # 每batch个样本更新一次参数。
#subdivisions=1          # 如果内存不够大，将batch分割为subdivisions个子batch，每个子batch的大小为batch/subdivisions。

# Training(此处下面的两行，训练的时候开启即可)
batch=64                 # 表示网络积累多少个样本后进行一次正向传播
subdivisions=16          # 将一个batch的图片分sub次完成网络的正向传播

width=416                # 输入图像的宽
height=416               # 输入图像的高
channels=3               # 输入图像的通道数
momentum=0.9             # 动量系数
decay=0.0005             # 权重衰减正则项，防止过拟合

# 下面四行，是数据增强的参数
angle=0                  # 通过旋转角度来生成更多训练样本
saturation = 1.5         # 通过调整饱和度来生成更多训练样本
exposure = 1.5           # 通过调整曝光量来生成更多训练样本
hue=.1                   # 通过调整色调来生成更多训练样本

learning_rate=0.001      # 初始学习率
burn_in=1000             #
max_batches = 500200     # 训练达到max_batches后停止学习
policy=steps             # 调整学习率的policy，有如下policy：CONSTANT, STEP, EXP, POLY, STEPS, SIG, RANDOM
steps=400000,450000      # 根据batch_num调整学习率
scales=.1,.1             # 学习率变化的比例，累计相乘

[convolutional]
batch_normalize=1        # 是否做BN
filters=32               # 卷积核的个数，也是输出的特征图的维度
size=3                   # 卷积核的尺寸3*3
stride=1                 # 做卷积运算的步长
pad=1                    # 如果pad为0,padding由 padding参数指定。如果pad为1，padding大小为size/2
activation=leaky         # 常用激活函数：logistic，relu，leaky，tanh

调参经验：
在Darknet中，batch和subdivisions是结合使用的，例如这儿的batch=64，subdivisions=16表示训练的过程中将一次性加载64张图片进内存，然后分16次完成前向传播，意思是每次4张，前向传播的循环过程中累加loss求平均，待64张图片都完成前向传播后，再一次性后传更新参数。
subdivisions一般设置16，根据尝试，通常设置为8的倍数，batch的值可以根据显存占用情况动态调整，一次性加减subdivisions大小即可，通常情况下batch越大越好，还需注意一点，在测试的时候修改batch和subdivisions参数为1，避免发生错误。
width也可以设置为不等于height，通常情况下，width和height的值越大，对于小目标的识别效果越好，但受到了显存的限制，读者可以自行尝试不同组合。
一次为跑完一个batch，训练次数达到max_batches后停止学习。max_batches的数量为检测的目标数 * 2000 ，如果数据量比较小的时候，max_batches是因该设置大一些，要不然会发生欠拟合。
momentum动量系数，DeepLearning中最优化方法中的动量参数，这个值影响着梯度下降到最优值得速度。
实际学习率learning_rate与GPU的个数有关，例如你的学习率设置为0.001，如果你有4块GPU，那真实学习率为0.001/4。
在迭代次数小于burn_in时，其学习率的更新有一种方式，大于burn_in时，才采用下面的policy的更新方式。
policy学习率调整的策略：constant, steps, exp, poly, step, sig, RANDOM，constant等方式。
steps和scale是设置学习率的变化，比如迭代到400000次时，学习率衰减十倍，45000次迭代时，学习率又会在前一个学习率的基础上衰减十倍。

在.cfg文件中设置random=1，它会通过对不同分辨率的图片进行训练以提高精度；
使用高分辨率的图像输入。在.cfg文件中设置height和width值。但是你无需重头训练，只需使用回416x416分辨率的权重数据就好了；
检查数据集标注是否正确符合规范；
检查训练数据集数据量是否过少；
迭代次数推荐不低于2000 * classes；
你的训练样本希望包含没有目标物体的图像，即该图像中没有出现目标物体，标签文件是空的文本；
如果图片里有很多数量的目标物体，那么在.cfg文件中最后的[yolo]层或[region]层中添加参数max=200，这也可以设定成更高的值；
如果目标物体很小（缩放成416x416尺寸后小于16x16），那么将第720行设置为layers = -1, 11，将第717行设置为stride=4
如果你的模型需要区分左右手性，例如区分左手和右手、左转和右转，那么需要关闭翻转数据增强选项，即添加flip=0到这里
如果想要模型具有尺度的鲁棒性，则必须训练样本中包含多尺度的照片。这是因为YOLO不具有尺度变化的适应性；
要想加速模型的训练（但会降低预测精度）应该使用Fine-Tuning而不是Transfer-Learning，需要在这里设置参数stopbackward=1，然后运行./darknet partial cfg/yolov3.cfg yolov3.weights yolov3.conv.81 81，这会创建文件yolov3.conv.81，然后使用该文件yolov3.conv.81训练；
复杂物体应该使用复杂的神经网络来训练；
你可以修改anchors的大小；

学习率的调整方法：

1、从自己和其他人一般的经验来看，学习率可以设置为3、1、0.5、0.1、0.05、0.01、0.005，0.005、0.0001、0.00001具体需结合实际情况对比判断，小的学习率收敛慢，但能将loss值降到更低。

2、根据数据集的大小来选择合适的学习率，当使用平方和误差作为成本函数时，随着数据量的增多，学习率应该被设置为相应更小的值（从梯度下降算法的原理可以分析得出）。另一种方法就是，选择不受数据集大小影响的成本函数-均值平方差函数。

3、训练全过程并不是使用一个固定值的学习速度，而是随着时间的推移让学习率动态变化，比如刚开始训练，离下山地点的最优值还很远，那么可以使用较大的学习率下的快一点，当快接近最优值时为避免跨过最优值，下山速度要放缓，即应使用较小学习率训练，具体情况下因为我们也不知道训练时的最优值，所以具体的解决办法是：在每次迭代后，使用估计的模型的参数来查看误差函数的值，如果相对于上一次迭代，错误率减少了，就可以增大学习率如果相对于上一次迭代，错误率增大了，那么应该重新设置上一轮迭代的值，并且减少学习率到之前的50%。因此，这是一种学习率自适应调节的方法。在Caffe、Tensorflow等深度学习框架中都有很简单直接的学习率动态变化设置方法。

参考：

1. https://zhuanlan.zhihu.com/p/91587361
2. https://www.cnblogs.com/hls91/p/10911997.html
3. https://blog.csdn.net/wmymo/article/details/100557266