TensorFlow 2.0教程04：Early Stopping

在训练过程中，神经网络中的weights会更新，以使模型在训练数据上的表现更好。一段时间以来，训练集上的改进与测试集上的改进呈正相关。但是，有时会开始过度拟合训练数据，进一步的“改进”将导致泛化性能降低。这称为过度拟合。Early stopping是一种用于在过度拟合发生之前终止训练的技术。

本教程说明了如何在TensorFlow 2中实现early stopping。本教程的所有代码均可在我们的code中找到。

通过tf.keras.EarlyStopping回调函数在TensorFlow中实现early stopping

earlystop_callback = EarlyStopping(
  monitor='val_accuracy', min_delta=0.0001,
  patience=1)​

monitor跟踪用于决定是否应终止训练的quantity。在这种情况下，我们使用验证准确性。min_delta是触发终止的阈值。在这种情况下，我们要求精度至少应提高0.0001。patience是等待训练停止的“无改善时期”的数量。使用时patience = 1，训练会在第一个时期后立即终止，并且没有改善。

现在，我们可以附加early stop callback并使用early stopping进行训练：

model.fit(train_dataset,
          epochs=10, callbacks=[earlystop_callback],
          validation_data=test_dataset,
          validation_freq=1)
​
Epoch 1/10
390/390 [==============================] - 73s 187ms/step - loss: 2.7133 - accuracy: 0.3300 - val_loss: 6.3186 - val_accuracy: 0.1752
Epoch 2/10
390/390 [==============================] - 39s 100ms/step - loss: 2.2262 - accuracy: 0.4914 - val_loss: 2.5499 - val_accuracy: 0.4358
Epoch 3/10
390/390 [==============================] - 39s 100ms/step - loss: 1.9842 - accuracy: 0.5801 - val_loss: 2.5666 - val_accuracy: 0.4708
Epoch 4/10
390/390 [==============================] - 39s 99ms/step - loss: 1.8144 - accuracy: 0.6333 - val_loss: 2.2643 - val_accuracy: 0.5407
Epoch 5/10
390/390 [==============================] - 39s 99ms/step - loss: 1.6799 - accuracy: 0.6770 - val_loss: 2.1015 - val_accuracy: 0.5841
Epoch 6/10
390/390 [==============================] - 39s 99ms/step - loss: 1.5700 - accuracy: 0.7104 - val_loss: 2.0468 - val_accuracy: 0.6078
Epoch 7/10
390/390 [==============================] - 38s 98ms/step - loss: 1.4697 - accuracy: 0.7388 - val_loss: 2.0628 - val_accuracy: 0.5925
Epoch 00007: early stopping

请注意，第7个Epoch的结果更好的训练准确性，但验证准确性却较低。因此，尽管最大次数设置为10，但训练仍在第7个Epoch终止。

总结

本教程说明了TensorFlow 2中如何实现early stopping 。关键要点是使用tf.keras.EarlyStopping回调。通过监视某个值（例如，验证准确性）在最近一段时间内是否有所改善（由patience参数控制）来触发提前停止。

要重现这些结果，请参考此code repo

 

接下来，给大家介绍一下租用GPU做实验的方法，我们是在智星云租用的GPU，使用体验很好。具体大家可以参考：智星云官网： http://www.ai-galaxy.cn/，淘宝店：https://shop36573300.taobao.com/公众号: 智星AI

​

参考文献：

https://lambdalabs.com/blog/tensorflow-2-0-tutorial-04-early-stopping/

https://github.com/lambdal/TensorFlow2-tutorial/tree/master/04-early-stopping