tf.keras.optimizers.Adam函数

不负韶华ღ

已于 2022-05-01 14:21:01 修改

阅读量1w

点赞数 2

分类专栏： # tensorflow 文章标签： keras tensorflow 深度学习

于 2022-05-01 14:17:33 首次发布

本文链接：https://blog.csdn.net/weixin_49346755/article/details/124526270

版权

tensorflow 专栏收录该内容

33 篇文章

订阅专栏

本文详细介绍了TensorFlow中Adam优化器的函数用法，包括其参数学习率、beta_1、beta_2和epsilon的作用。默认设置为beta_1=0.9, beta_2=0.999, epsilon=1e-07。通过(optimizer=tf.keras.optimizers.Adam(0.001))创建实例，并使用(optimizer.apply_gradients(zip(gradients, elmo.trainable_variables)))进行参数更新。理解优化器对于深度学习模型的训练至关重要。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

函数原型

tf.keras.optimizers.Adam(
    learning_rate=0.001,
    beta_1=0.9,
    beta_2=0.999,
    epsilon=1e-07,
    amsgrad=False,
    name='Adam',
    **kwargs
)

函数说明

Adam函数定义了参数更新的方式，模型参数 $\theta$ 的具体更新过程如下所示：
在这里插入图片描述
参数leanrning_rate对应于学习率或者步长 $\alpha$ ；参数beta_1，beta_2对应于 $\beta_1$ ， $\beta_2$ ，表示梯度的带权平均和带权方差，初始为0向量；参数epsilon对应于 $\epsilon$ 。

建议参数 $\beta_1$ =0.9， $\beta_2$ =0.99， $\epsilon$ =10^-8。针对特定问题，需要结合数值选择合适的算法。

函数使用

# 优化器adam
optimizer = tf.keras.optimizers.Adam(0.001)
# 应用梯度，这里会可以更新的参数应用梯度，进行参数更新
optimizer.apply_gradients(zip(gradients, elmo.trainable_variables))