YOLOv3训练过程记录

在做YOLOv3检测的时候，第一阶段，一直使用 RMS 优化器，最多的时候训练200轮。

"rsm_strategy": {
    "learning_rate": 0.001,
    "lr_epochs": [40, 80, 120, 160],
    "lr_decay": [1, 0.5, 0.25, 0.1, 0.02],
}

初始的学习率测试过 0.01，0.001，0.005。但效果都不好，最好的时候 loss 下降到120左右。并且经常训练的时候会出现负数 loss 或者非常大的 loss，比如2e+22。测试效果很差，显然模型就没收敛…

第二阶段，想起来看到文章提到用 SGD 最终会能达到更好的效果，于是改为尝试 SGD 优化器，训练200轮。

"sgd_strategy": {
    "learning_rate": 0.001
}

初始学习率尝试过 0.01，0.05，0.001。前两个比较容易出现超大 loss 和负数 loss，证明学习率偏大。后来换 0.001 之后，比较稳定，最优的 loss 能下降到 80左右，但还是伴随着少量的负数 loss 和偶尔出现的超大 loss。此时测试能有一定的效果，能检测出一部分正确结果。

基于此，猜测可能是存在一定量的梯度过大导致。尝试在模型参数中加上梯度裁剪。第一次加入全局梯度L2范数裁剪，paddle 中对应 GradientClipByGlobalNorm，设置的L2范数限制是2.0。但进去之后效果很差。猜测此时并不一定能真实限制住梯度，因为每个数都很小，L2之后更小，除非模型参数很多，不然不太好把我限制多少合适。于是换了直接限制梯度大小的裁剪，paddle 中对应 GradientClipByValue，设置的梯度大小是 [-5, 5]。此时不容易出现极端 loss，最好 loss 能到 50。模型效果相比以前有比较好的提升。

之后又测试了在 SGD 的框架下，学习率随着训练轮数增多而减少。通过观察，发现第一个减小梯度可以出现在训练比较多轮之后。此时才容易达到一个比较小的 loss。使用的配置和相应的优化器代码：

"sgd_strategy": {
    "learning_rate": 0.001,
    "lr_epochs": [80, 120, 160],
    "lr_decay": [1, 0.5, 0.25, 0.1]
}
 
def optimizer_sgd_setting():
    batch_size = train_parameters["train_batch_size"]
    iters = train_parameters["image_count"] // batch_size
    learning_strategy = train_parameters['sgd_strategy']
    lr = learning_strategy['learning_rate']
 
    boundaries = [i * iters for i in learning_strategy["lr_epochs"]]
    values = [i * lr for i in learning_strategy["lr_decay"]]
    logger.info("boundaries: {0}".format(boundaries))
    logger.info("values: {0}".format(values))
 
    learning_rate = fluid.layers.piecewise_decay(boundaries, values)
    optimizer = fluid.optimizer.SGD(
        learning_rate=learning_rate,
        regularization=fluid.regularizer.L2Decay(0.00005))
 
    return optimizer

这样的配置能够进一步提升训练精度