【tf.keras】tf.keras使用tensorflow中定义的optimizer

最新推荐文章于 2024-08-24 10:11:39 发布

weixin_30889885

最新推荐文章于 2024-08-24 10:11:39 发布

阅读量2k

点赞数 1

文章标签：人工智能 python

原文链接：http://www.cnblogs.com/wuliytTaotao/p/10986952.html

版权

在tf.keras中，虽然没有内置AdamW优化器，但在tensorflow中可以找到。当尝试将tensorflow的optimizer加入tf.keras.callbacks.ReduceLROnPlateau()时，可能会遇到AttributeError。解决方法是使用TFOptimizer包裹optimizer，确保在正确导入tensorflow.python.keras模块。

摘要由CSDN通过智能技术生成

我的 tensorflow+keras 版本：

print(tf.VERSION)    # '1.10.0'
print(tf.keras.__version__)    # '2.1.6-tf'

tf.keras 没有实现 AdamW，即 Adam with Weight decay。论文《DECOUPLED WEIGHT DECAY REGULARIZATION》提出，在使用 Adam 时，weight decay 不等于 L2 regularization。具体可以参见当前训练神经网络最快的方式：AdamW优化算法+超级收敛或 L2正则=Weight Decay？并不是这样。

keras 中没有实现 AdamW 这个 optimizer，而 tensorflow 中实现了，所以在 tf.keras 中引入 tensorflow 的 optimizer 就好。

如下所示：

import tensorflow as tf
from tensorflow.contrib.opt import AdamWOptimizer

mnist = tf.keras.datasets.mnist

(x_train, y_train),(x_test, y_test) = mnist.load_data()
x_train, x_test = x_train / 255.0, x_test / 255.0

model = tf.keras.models.Sequential([
  tf.keras.layers.Flatten(input_shape=(28, 28)),
  tf.keras.layers.Dense(512, activation=tf.nn.relu),
  tf.keras.layers.Dropout(0.2),