tf.keras.callbacks.EarlyStopping 的理解

最新推荐文章于 2024-07-11 08:59:04 发布
最新推荐文章于 2024-07-11 08:59:04 发布
阅读量2.2k 收藏 9
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lizz2276/article/details/108230061
版权

callback = tf.keras.callbacks.EarlyStopping(monitor='val_loss',min_delta=0.0001, patience=10, restore_best_weights=True)   

history = model.fit(X_train_lst, df_y_train.values, epochs=500, batch_size=200, validation_split=0.3,callbacks=[callback])

Train on 782135 samples, validate on 335201 samples
Epoch 1/500
782135/782135 [==============================] - 8s 11us/sample - loss: 0.0663 - mean_absolute_error: 0.0663 - val_loss: 0.0284 - val_mean_absolute_error: 0.0284
Epoch 2/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0237 - mean_absolute_error: 0.0237 - val_loss: 0.0214 - val_mean_absolute_error: 0.0214
Epoch 3/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0199 - mean_absolute_error: 0.0199 - val_loss: 0.0195 - val_mean_absolute_error: 0.0195
Epoch 4/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0182 - mean_absolute_error: 0.0182 - val_loss: 0.0177 - val_mean_absolute_error: 0.0177
Epoch 5/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0171 - mean_absolute_error: 0.0171 - val_loss: 0.0170 - val_mean_absolute_error: 0.0170
Epoch 6/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0162 - mean_absolute_error: 0.0162 - val_loss: 0.0167 - val_mean_absolute_error: 0.0167
Epoch 7/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0155 - mean_absolute_error: 0.0155 - val_loss: 0.0154 - val_mean_absolute_error: 0.0154
Epoch 8/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0151 - mean_absolute_error: 0.0151 - val_loss: 0.0147 - val_mean_absolute_error: 0.0147
Epoch 9/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0145 - mean_absolute_error: 0.0145 - val_loss: 0.0148 - val_mean_absolute_error: 0.0148
Epoch 10/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0141 - mean_absolute_error: 0.0141 - val_loss: 0.0137 - val_mean_absolute_error: 0.0137
Epoch 11/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0139 - mean_absolute_error: 0.0139 - val_loss: 0.0139 - val_mean_absolute_error: 0.0139
Epoch 12/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0135 - mean_absolute_error: 0.0135 - val_loss: 0.0150 - val_mean_absolute_error: 0.0150
Epoch 13/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0132 - mean_absolute_error: 0.0132 - val_loss: 0.0134 - val_mean_absolute_error: 0.0134
Epoch 14/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0130 - mean_absolute_error: 0.0130 - val_loss: 0.0141 - val_mean_absolute_error: 0.0141
Epoch 15/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0128 - mean_absolute_error: 0.0128 - val_loss: 0.0142 - val_mean_absolute_error: 0.0142
Epoch 16/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0126 - mean_absolute_error: 0.0126 - val_loss: 0.0127 - val_mean_absolute_error: 0.0127
Epoch 17/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0124 - mean_absolute_error: 0.0124 - val_loss: 0.0126 - val_mean_absolute_error: 0.0126
Epoch 18/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0123 - mean_absolute_error: 0.0123 - val_loss: 0.0124 - val_mean_absolute_error: 0.0124
Epoch 19/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0121 - mean_absolute_error: 0.0121 - val_loss: 0.0126 - val_mean_absolute_error: 0.0126
Epoch 20/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0120 - mean_absolute_error: 0.0120 - val_loss: 0.0124 - val_mean_absolute_error: 0.0124
Epoch 21/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0119 - mean_absolute_error: 0.0119 - val_loss: 0.0124 - val_mean_absolute_error: 0.0124
Epoch 22/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0118 - mean_absolute_error: 0.0118 - val_loss: 0.0127 - val_mean_absolute_error: 0.0127
Epoch 23/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0116 - mean_absolute_error: 0.0116 - val_loss: 0.0135 - val_mean_absolute_error: 0.0135
Epoch 24/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0115 - mean_absolute_error: 0.0115 - val_loss: 0.0115 - val_mean_absolute_error: 0.0115
Epoch 25/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0114 - mean_absolute_error: 0.0114 - val_loss: 0.0123 - val_mean_absolute_error: 0.0123
Epoch 26/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0114 - mean_absolute_error: 0.0114 - val_loss: 0.0121 - val_mean_absolute_error: 0.0121
Epoch 27/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0113 - mean_absolute_error: 0.0113 - val_loss: 0.0113 - val_mean_absolute_error: 0.0113
Epoch 28/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0112 - mean_absolute_error: 0.0112 - val_loss: 0.0117 - val_mean_absolute_error: 0.0117
Epoch 29/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0111 - mean_absolute_error: 0.0111 - val_loss: 0.0128 - val_mean_absolute_error: 0.0128
Epoch 30/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0111 - mean_absolute_error: 0.0111 - val_loss: 0.0111 - val_mean_absolute_error: 0.0111
Epoch 31/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0110 - mean_absolute_error: 0.0110 - val_loss: 0.0122 - val_mean_absolute_error: 0.0122
Epoch 32/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0109 - mean_absolute_error: 0.0109 - val_loss: 0.0109 - val_mean_absolute_error: 0.0109
Epoch 33/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0109 - mean_absolute_error: 0.0109 - val_loss: 0.0117 - val_mean_absolute_error: 0.0117
Epoch 34/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0108 - mean_absolute_error: 0.0108 - val_loss: 0.0115 - val_mean_absolute_error: 0.0115
Epoch 35/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0107 - mean_absolute_error: 0.0107 - val_loss: 0.0109 - val_mean_absolute_error: 0.0109
Epoch 36/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0107 - mean_absolute_error: 0.0107 - val_loss: 0.0116 - val_mean_absolute_error: 0.0116
Epoch 37/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0106 - mean_absolute_error: 0.0106 - val_loss: 0.0110 - val_mean_absolute_error: 0.0110
Epoch 38/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0105 - mean_absolute_error: 0.0105 - val_loss: 0.0112 - val_mean_absolute_error: 0.0112
Epoch 39/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0105 - mean_absolute_error: 0.0105 - val_loss: 0.0109 - val_mean_absolute_error: 0.0109
Epoch 40/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0105 - mean_absolute_error: 0.0105 - val_loss: 0.0108 - val_mean_absolute_error: 0.0108
Epoch 41/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0104 - mean_absolute_error: 0.0104 - val_loss: 0.0109 - val_mean_absolute_error: 0.0109
Epoch 42/500
782135/782135 [==============================] - 8s 10us/sample - loss: 0.0103 - mean_absolute_error: 0.0103 - val_loss: 0.0109 - val_mean_absolute_error: 0.0109

min_delta：增大或减小的阈值，只有大于这个部分才算作improvement。这个值的大小取决于monitor，也反映了你的容忍程度。本处取为0.0001，即val_loss减小幅度大于0.0001才算有提升，loss不变或增大都算没提升。

patience：能够容忍多少个epoch内都没有improvement。本处取为10。

 

最后10个epochs不满足条件，停止了。

以下转载自https://blog.csdn.net/silent56_th/article/details/72845912

  • min_delta：增大或减小的阈值，只有大于这个部分才算作improvement。这个值的大小取决于monitor，也反映了你的容忍程度。例如笔者的monitor是’acc’，同时其变化范围在70%-90%之间，所以对于小于0.01%的变化不关心。加上观察到训练过程中存在抖动的情况（即先下降后上升），所以适当增大容忍程度，最终设为0.003%。
  • patience：能够容忍多少个epoch内都没有improvement。这个设置其实是在抖动和真正的准确率下降之间做tradeoff。如果patience设的大，那么最终得到的准确率要略低于模型可以达到的最高准确率。如果patience设的小，那么模型很可能在前期抖动，还在全图搜索的阶段就停止了，准确率一般很差。patience的大小和learning rate直接相关。在learning rate设定的情况下，前期先训练几次观察抖动的epoch number，比其稍大些设置patience。在learning rate变化的情况下，建议要略小于最大的抖动epoch number。笔者在引入EarlyStopping之前就已经得到可以接受的结果了，EarlyStopping算是锦上添花，所以patience设的比较高，设为抖动epoch number的最大值。
  • min_delta和patience都和“避免模型停止在抖动过程中”有关系，所以调节的时候需要互相协调。通常情况下，min_delta降低，那么patience可以适当减少；min_delta增加，那么patience需要适当延长；反之亦然。
lizz2276
关注
  • 1
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
浅谈keras.callbacks设置模型保存策略
09-16
例如`EarlyStopping(monitor='val_loss', patience=3)`会在验证损失连续3个epoch没有改善时停止训练。 - `ReduceLROnPlateau`: 如果监测值在一段时间内没有提高，这个回调会降低学习率，尝试改善模型训练。例如`...
keras和tensorflow使用 keras.callbacks.EarlyStopping 提前结束训练
热门推荐
个人博客
06-05 1万+
一般来说机器学习的训练次数会设置到很大，如果模型的表现没有进一步提升，那么训练可以停止了，继续训练很可能会导致过拟合keras.callbacks.EarlyStopping就是用来提前结束训练的。 在keras中，使用方法如下： import keras early_stopping=keras.callbacks.EarlyStopping(monitor='val_loss', min_...
keras中的回调函数
lizz2276的博客
08-26 645
keras训练 fit( self, x, y, batch_size=32, nb_epoch=10, verbose=1, callbacks=[], validation_split=0.0, validation_data=None, shuffle=True, class_weight=None, sample_weight=None ) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 x：输入数据。如果模型只有一个输入，那么x的类型是numpy array，如果模型有多个输入
【Python深度学习系列】Keras回调函数Callbacks使用详解-训练过程可视化、早停、保存恢复（案例+源码）
最新发布
数据杂坛
07-11 695
Keras回调函数Callbacks使用详解-训练过程可视化、早停、保存恢复（案例+源码）
Tensorflow2.0回调函数的使用
老油子的博客
02-23 1481
前章提示： 为什么要使数据归一化： 归一化的目的就是使在训练过程中，训练模型不会因为部分畸形数据而导致训练模型出现差错，从而保证准确性，因此也被称为标准化，一般来说转换成[ 0,1]是概率类，转化为[-1,1]是坐标轴类型。 回调函数 Tensorboard，earlystopping,ModelCheckpoint EarlyStopping 使用方法： keras.callbacks.Earl...
keras中的早停机制EarlyStopping与回调函数ReduceLROnPlateau
JJJAY
11-19 1752
ReduceLROnPlateau与EarlyStopping配合使用训练模型，会非常方便。
keras中的callbacks详解之EarlyStopping
要加油
12-07 6067
keras中的callbacks整体学习见： keras中的callbacks详解 1. 认识Early Stop early stop是训练模型的过程中，避免过拟合，节省训练时间的一种方法 2. keras中的EarlyStopping 官方api：https://keras.io/api/callbacks/early_stopping/ 上图是官方给的使用方法说明，部分参数释义如下： monitor: 监控指标，如“val_loss” min_delta: 认为监控指标有提升的最小提升值。如果变化
keras用auc做metrics以及早停实例
12-17
from keras.callbacks import EarlyStopping callback = EarlyStopping(monitor="val_auc", patience=50, verbose=0, mode='max') ``` 在训练模型时，将这个回调添加到`callbacks`列表中： ```python history = ...
谷歌以图搜图验证码识别.zip
05-07
from keras.callbacks import EarlyStopping from skimage import exposure import cv2 import imageio import matplotlib.pyplot as plt import numpy as np import pandas as pd import tensorflow as tf from ...
Tensorflow实现卷积神经网络用于人脸关键点识别.pdf
04-17
此外，TensorFlow 提供的`tf.data`模块可以帮助高效地处理大量数据，`tf.keras.callbacks`则提供了训练过程中的监控和控制机制，如早停（EarlyStopping）和学习率调度（LearningRateScheduler）。 安装 TensorFlow ...
keras代码_keras_
09-30
Keras支持早停（EarlyStopping）和验证集回调等功能，以提高模型性能和防止过拟合。 5. **评估与预测（Evaluation & Prediction）**：使用`model.evaluate()`评估模型在测试集上的表现，`model.predict()`进行预测...
机器学习之keras EarlyStopping()函数详解
出门左拐是海的博客
05-10 6488
EarlyStopping() 1.函数简介 使用该函数的目的是为了防止过拟合，因为在我们训练模型的过程中，很有可能出现过拟合的情况。这个时候训练集表现很好，但是验证集表现就会下降。这时候我们需要提前结束训练，得到“最佳”（只能判断是在全局范围内最佳）的结果。 具体见早停法 2.参数详解 以下给出样例 EarlyStopping(monitor='val_loss', min_delta=0, patience=10, verbose=2, mode='auto', restore_best_weights
keras的EarlyStopping使用与技巧
wuruivv的博客
10-29 6428
Early Stopping是什么 具体EarlyStopping的使用请参考官方文档和源代码。 EarlyStopping是Callbacks的一种，callbacks用于指定在每个epoch开始和结束的时候进行哪种特定操作。Callbacks中有一些设置好的接口，可以直接使用，如’acc’, 'val_acc’, ’loss’ 和 ’val_loss’等等。 EarlyStopping则是用于提前停止训练的callbacks。具体地，可以达到当训练集上的loss不在减小（即减小的程度小于某个阈.
tf.keras.callbacks.EarlyStopping()
Erosion_ww的博客
08-01 857
tensorflow中tf.keras.callbacks.EarlyStopping()的作用
tf.keras.callbacks.EarlyStopping用法
Xurui_Luo的博客
09-02 6625
tf.keras.callbacks.EarlyStopping( monitor='val_loss', min_delta=0, patience=0, verbose=0, mode='auto', baseline=None, restore_best_weights=False ) monitor：监控的数据接口。keras定义了如下的数据接口可以直接使用： acc（accuracy），测试集的正确率 loss，测试集的损失函数（误差） val_acc（val_accuracy
keras的earlystopping
qq_40212975的博客
09-04 318
keras.callbacks.EarlyStopping(monitor=‘val_loss’, min_delta=0, patience=0, verbose=0, mode=‘auto’, baseline=None, restore_best_weights=False)
keras： Early Stopping与CheckPoint代码使用
颠沛的小丸子
05-20 3048
from keras.callbacks import EarlyStopping early_stopping = EarlyStopping(monitor='val_loss',patience=100) optimizer = keras.optimizers.Adam() model.compile(loss='categorical_crossentropy', ...
TF2.0-tf.keras.callbacks.EarlyStopping
柳杰的博客
11-14 418
tf.keras.callbacks.EarlyStopping( monitor='val_loss', min_delta=0, patience=0, verbose=0, mode='auto', baseline=None, restore_best_weights=False ) 作用是:当监控指标停止改进时，停止训练 假设训练的目标是使损失最小化。这样，监视的指标将是“损失”，模式将是“min”。 model.fit()训练循环将在每个epoch结束时检查损失是否不再减少，并
TensorFlow 2.0教程04：Early Stopping
m0_37909240的博客
08-17 3327
在训练过程中，神经网络中的weights会更新，以使模型在训练数据上的表现更好。一段时间以来，训练集上的改进与测试集上的改进呈正相关。但是，有时会开始过度拟合训练数据，进一步的“改进”将导致泛化性能降低。这称为过度拟合。Early stopping是一种用于在过度拟合发生之前终止训练的技术。 本教程说明了如何在TensorFlow 2中实现early stopping。本教程的所有代码均可在我们的code中找到。 通过tf.keras.EarlyStopping回调函数在TensorFlow中实现ear
tf.keras.callbacks.earlystopping
03-16
tf.keras.callbacks.earlystopping是TensorFlow中的一个回调函数，用于在训练过程中监测模型的性能，并在模型性能不再提升时停止训练。它可以通过监测验证集的损失或准确率来判断模型是否过拟合，并在达到指定的停止...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值