tensorflow2.x/keras手动批训练在SGD优化器上的问题

最新推荐文章于 2022-07-24 11:23:50 发布
最新推荐文章于 2022-07-24 11:23:50 发布
阅读量272 收藏
点赞数
分类专栏： 又写了个bug 文章标签： tensorflow 深度学习 神经网络 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_33856143/article/details/114297085
版权
  1. 手动 model.fit 进行批训练，momentium 对应的历史梯度信息没有保存，lr 也不会修改
  2. 手动 model.train_on_batch 进行批训练，momentium 貌似保存了，但 lr 不会修改
  3. 手动 tape.gradient 求导时，Normalization 层没有更新

解决方案：

  1. 手动批训练时，尽量使用train_on_batch，手动更新 lr，一个公式是 lr = lr / (1 + lr_rate * iterations)
  2. 手动求导时，注意启动训练模式 model(x, training=True)
欧恩方
关注
专栏目录
tensorflow1.9.rar
04-02
在优化器方面，TensorFlow 1.9包含了多种常用的优化算法，如梯度下降（SGD）、动量优化（Momentum）、Adam等，这些优化器可以根据不同任务需求选择合适的参数调整，以达到更好的训练效果。 在模型保存与恢复方面，...
[TensorFlow 2] [Keras] fit()、fit_generator() 和 train_on_batch() 分析与应用
weixin_43275894的博客
08-11 674
感谢大佬分享
TensorFlow2学习笔记：7、优化器
学习，是熵减的最有效途径。
07-24 1069
下面是TensorFlow官方文档中的优化器种类。
model.train_on_batch介绍【TensorFlow2入门手册】
“365天深度学习训练营”报名进行中～
08-08 2517
大部分使用 tensorflow 的同学会使用 fit() 或者 fit_generator() 方法训练模型， 这两个 api 对于刚接触深度学习的同学非常友好和方便，但是由于其是非常深度的封装，对于希望自定义训练过程的同学就显得不是那么方便，而且，对于 GAN 这种需要分步进行训练的模型，也无法直接使用 fit 或者 fit_generator 直接训练的。因此，tensorflow 提供了 train_on_batch 这个 api，对一个 mini-batch 的数据进行梯度更新。 总结优点如下：
tensorflow2.8 比较不同优化器-python源码.zip
最新发布
05-02
这些优化器在TensorFlow 2.8中都可以通过`tf.keras.optimizers`模块访问。源代码可能包含了对这些优化器的实现或比较，展示了它们在相同模型和数据集上的训练效果。通过运行这些代码，你可以直观地了解各种优化器的...
tensorflow-2.0.zip
10-30
5. **Optimizer**: 优化器的实现，如SGD、Adam等，用于更新模型参数。 6. **Dataset**: 数据集处理模块，支持多种数据输入方式，包括文件读取、数据预处理等。 7. **TensorBoard**: 可视化工具的代码，用于展示...
在tensorflow下利用plt画论文中loss,acc等曲线图实例
12-17
在上述代码中，`model.compile()`用于配置优化器（这里使用的是随机梯度下降SGD）、损失函数（分类交叉熵）和评估指标（精度）。`validation_split`参数用于划分验证集，不参与模型的训练。 总之，通过上述代码，...
keras官方数据集.zip
05-12
Keras是一个高度模块化、用户友好的深度学习框架，它建立在TensorFlow之上，用于快速构建和训练神经网络模型。 描述中提到的"mnist.npz"是MNIST数据集的一个版本，这是一个广泛用于手写数字识别任务的经典数据集。...
tensorflow2 5种优化器 SGD,SGDM,ADAGRAD,RMSPROP,ADAM 在鸢尾花数据集中的对比.docx
05-01
tensorflow2 5种优化器 SGD,SGDM,ADAGRAD,RMSPROP,ADAM 在鸢尾花数据集中的对比，word 文档。
keras train_on_batch详解（train_on_batch的输出输入详解，train_on_batch多GPU训练详解，自定义学习率调整策略）
baoxin1100的博客
08-11 2万+
利用 train_on_batch 精细管理训练过程 大部分使用 keras 的同学使用 fit() 或者 fit_generator() 进行模型训练， 这两个 api 对于刚接触深度学习的同学非常友好和方便，但是由于其是非常深度的封装，对于希望自定义训练过程的同学就显得不是那么方便（从 torch 转 keras 的同学可能更喜欢自定义训练过程），而且，对于 GAN 这种需要分步进行训练的模型，也无法直接使用 fit 或者 fit_generator 直接训练的。因此，keras 提供了 train_o
优化器 - tf.keras.optimizers.SGD()【TensorFlow2入门手册】
“365天深度学习训练营”报名进行中～
04-29 6048
函数原型 tf.keras.optimizers.SGD( learning_rate=0.01, momentum=0.0, nesterov=False, name='SGD', **kwargs ) 官网地址：https://tensorflow.google.cn/api_docs/python/tf/keras/optimizers/SGD 作用 优化模型 参数 learning_rate：学习率，默认为0.01 momentum：动量，加速相关方向的梯度下降并抑制振荡，默认为0。 .
TensorFlow2.0之五种神经网络参数优化器
dally2的博客
08-27 1542
五种参数优化器 1 SGD（不含momentum的梯度下降算法） 2 SGDM（含momentum的梯度下降算法，在SGD基础上增加一阶动量） 3 Adagrad（在SGD基础上增加二阶动量） 4 RMSProp（在SGD基础上增加二阶动量） 5 Adam（同时结合SGDM一阶动量和RMSProp二阶动量）
【Tensorflow】解决使用SGD优化器报错
ICEsuning的博客
04-03 2394
使用tensorflow 2.0、keras2.8时，两个库若即若离，互相干扰，导致了很多报错。 在使用优化器SGD时，尝试几种方法。 from keras.optimizer_v1 import sgd model.compile(loss="mse", optimizer=sgd(lr=1e-6, momentum=0.9)) 报错 from tensorflow.python.keras.optimizer_v1 import sgd model.compile(loss="mse"
tensorflow2.x学习笔记六：训练模型的三种方式
耐心的小黑的博客
08-17 2746
模型的训练主要有内置fit方法、内置tran_on_batch方法、自定义训练循环。 注：fit_generator方法在tf.keras中不推荐使用，其功能已经被fit包含。 一、内置fit方法 该方法功能非常强大, 支持对numpy array, tf.data.Dataset以及Python generator数据进行训练。并且可以通过设置回调函数实现对训练过程的复杂控制逻辑。 tf.keras.backend.clear_session() def create_model():
tensorflow中的tf.train.batch详解
热门推荐
修炼之路
10-18 3万+
官方文档链接：https://tensorflow.google.cn/versions/r1.8/api_docs/python/tf/train/batch tf.train.batch( tensors, batch_size, num_threads=1, capacity=32, enqueue_many=False, shapes=N...
解决TensorFlow中‘SGD‘ object has no attribute ‘apply_gradient’报错问题
qq_39492314的博客
11-12 4156
昨天使用TensorFlow训练是出现了’SGD’ object has no attribute ‘apply_gradient’的问题，注意不是apply_gradients， 于是查了下解决办法，发现没有特别有用的，不是copy别人的就是说增加 from tensorflow_core.python.keras import datasets, layers，于是决定自己排除原因。 首先查看keras的安装目录： 进入keras的目录，然后发现有 于是打开optimizers.py文件，发现没有a
from keras.optimizers import SGD在optimizers.py中引用不到SGD
05-20
`SGD` 是 `Keras` 中的一个优化器，如果你在 `optimizers.py` 中引用不到它，可以尝试以下几个方法： 1. 确保你已经正确地安装了 `Keras` 库，并且版本符合你的代码要求。 2. 试着在代码中直接引用 `SGD`，而不是从...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值