finetune踩坑

最近在学习深度学习网络，在MobileNetv3+YUNYANG1994大神的yolov3
使用自己的数据集从零训练没有任何问题。
但是使用Google官方给出基于imagenet训练的预训练模型finetune的时候，trainloss总是维持在18.5降不下去。
几次尝试和摸索，总结几点（问题不分先后）：
1.finetune分为两种，（一）局部微调，（二）全局微调，局部微调的时候，需要注意，在用优化器优化的时候，哪些参数是不变，哪些参数是变得。
2.各个部分的参数名字要与函数中的一一对应。
3.预训练模型中有的参数的值直接继承过来就好，预训练模型中没有的参数，要根据yolo模型中各层原本的初始化参数进行初始化，比如yolo中的weight是‘glorot_uniform’，bias是‘zeros’，beta和moving_mean是‘zeros’,gamma和moving_variance是‘Ones’，将带有ExponentialMovingAverage的都初始化为相反的 等等。

问题3的发现是将trainloss=18.5的模型解析，ckpt文件中，yolo模型部分参数都是0或无限接近0的数（因为在初始化的时候，将所有的都统一初始化为0或random_uniform了）