神经网络高阶技巧7--早停(early stopping)与保存最佳模型

早停法这个词，其实我们并不陌生。因为在传统的机器学习中，我们就用到过。例如在一个xgboost,或者lightgbm模型中，为了防止过拟合，我们就会用：

clf = lgb.train(params=param,train_set=trn_data,num_boost_round=50000,
valid_sets=val_data,verbose_eval=1000,early_stopping_rounds=500)

用early_stopping_rounds指定早停轮数，即如果在500轮内验证集指标不提升我们就停止迭代。
同时在预测时，

predictions = clf.predict(X_test, num_iteration=clf.best_iteration)

指定选用最好的迭代次数。
那么在神经网络中，有没有类似的用法呢？
是有的。
在keras中：

best_weights_filepath = './best_weights.hdf5'
earlyStopping=kcallbacks.EarlyStopping(monitor='val_loss', patience=10, verbose=1, mode='auto')
saveBestModel = kcallbacks.ModelCheckpoint(best_weights_filepath, monitor='val_loss', verbose=1, save_best_only=True, mode='auto')
 
# train model
history = model.fit(x_tr, y_tr, batch_size=batch_size, nb_epoch=n_epochs,
              verbose=1, validation_data=(x_va, y_va), callbacks=[earlyStopping, saveBestModel])
 
#reload best weights
model.load_weights(best_weights_filepath)

代码来自：
https://blog.csdn.net/ukakasu/article/details/84133270

当然这里获得最佳模型后，你也可以不load_weights。

关于EarlyStopping的介绍与参数：

请参见：
https://blog.csdn.net/silent56_th/article/details/72845912