RAdam的keras实现

最新推荐文章于 2024-06-05 10:06:27 发布

直觉与逻辑

最新推荐文章于 2024-06-05 10:06:27 发布

阅读量3.6k

点赞数

分类专栏：机器学习 deep-learning 文章标签： RAdam keras 优化器

本文链接：https://blog.csdn.net/u010592244/article/details/100068261

版权

RAdam是一种改进的Adam优化器，提供更好的稳定性和性能。本文详细介绍了如何在Keras中实现RAdam，包括代码示例和测试脚本，并讨论了其优于Adam和warmup-Adam的原因。

摘要由CSDN通过智能技术生成

简介

Rectified Adam是最新提出的效果最优的adaptive stochastic优化器，超越了原始的Adam，稳定性也比warmup版本的Adam效果要好。原始论文地址：https://arxiv.org/abs/1908.03265
本文主要记录RAdam的Keras实现。

Keras实现

继承自原始的Keras的Adam类.
file: radam.py

#coding=utf8
"""Recifited Adam optimizer
# Author : forin-xyz
# Created Time : Aug 24 22:02:55 2019
# Description:
"""

from __future__ import division
from __future__ import print_function
from __future__ import absolute_import
from __future__ import unicode_literals


from keras import backend as K
from keras.optimizers import Adam
from keras.legacy import interfaces


class RAdam(Adam):
    """RAdam optimizer, also named Recifited Adam optimizer.
    Arguments
    ---------
        lr: float >= 0. Learning rate, default 0.001.
        beta_1: float, (0, 1). Generally close to 1.