BERT模型中的动态学习率和提前终止（early stop）

BERT模型中的动态学习率和提前终止（early stop）

上一步我们将语料划分成了训练和测试集，我们的训练方式是，每个epoch，用训练集训练。对模型性能的衡量标准是AUC，AUC的衡量标准对二分类非常易用。
当前epoch训练完毕之后，用测试集衡量当前训练结果，并记下当前epoch的AUC,如果当前的AUC较上一个epoch没有提升，那就降低学习率，实际操作是让当前的学习率降低1/5，直到10个epoch测试集的AUC都没有提升，就终止训练。