《深度学习》Tensorflow2.0 优化器

最新推荐文章于 2023-07-12 15:29:20 发布

My学习成长记

最新推荐文章于 2023-07-12 15:29:20 发布

阅读量1.1k

点赞数 1

分类专栏：深度学习文章标签：深度学习 tensorflow

本文链接：https://blog.csdn.net/dream_to_dream/article/details/108154733

版权

27 篇文章 1 订阅

订阅专栏

Tensorflow 2.0的许多优化器与1.0的不同，编写代码时找不到。

Convert v1.train to keras.optimizers
Here are things to keep in mind when converting your optimizers:

升级您的优化器可能使旧的检查点不兼容。
所有的epsilons（应该是α β之类的参数）现在默认为1e-7而不是1e-8(在大多数情况下可以忽略不计)。
v1.train.GradientDescentOptimizer 可以直接被替换为 tf.keras.optimizers.SGD.
v1.train.MomentumOptimizer 可以直接被替换为 SGD 优化器，使用动量参数: tf.keras.optimizers.SGD(…, momentum=…).
v1.train.AdamOptimizer 可以转换为tf.keras.optimizers.Adam. 参数 beta1 和 beta2 重命名为 beta_1 和 beta_2.
v1.train.RMSPropOptimizer 可以转换为 tf.keras.optimizers.RMSprop. 参数decay 重命名为 rho.
v1.train.AdadeltaOptimizer 可以直接转换为 tf.keras.optimizers.Adadelta.
tf.train.AdagradOptimizer 可以直接转换为 tf.keras.optimizers.Adagrad.
tf.train.FtrlOptimizer 可以直接转换为 tf.keras.optimizers.Ftrl. 参数 accum_name 和 linear_name arguments 已经被移除.
The tf.contrib.AdamaxOptimizer 和 tf.contrib.NadamOptimizer, 可以直接转换为 tf.keras.optimizers.Adamax 和 tf.keras.optimizers.Nadam. 参数 beta1 和 beta2 重命名为 beta_1 和 beta_2.
警告:如果您看到您的模型的收敛行为发生了变化，请检查默认的学习率。

关注