一、Bert中的warmup_proportion https://www.jianshu.com/p/19a4abfcd835 由resnet提出,在刚开始时的学习率较低,会逐步提升。避免模型最开始随机初始化参数时,过大学习造成的不稳定现象。 二、checkpoint https://www.zhihu.com/question/265634425