最新的优化器：RAdam

最新的优化器：RAdam

参考： 以下文章来源于AI公园 ，作者ronghuaiyang

源码： https://github.com/LiyuanLucasLiu/RAdam
论文：《ON THE VARIANCE OF THE ADAPTIVE LEARNING RATE AND BEYOND》
英文原文： https://medium.com/@lessw/new-state-of-the-art-ai-optimizer-rectified-adam-radam-5d854730807b

论文介绍了RAdam，也叫作“Rectified Adam”。这是经典Adam优化器的一个新变种，在自动的、动态的调整自适应学习率的基础上，他们详细研究了训练期间的变化和动量的影响。与vanilla Adam相比，RAdam有希望即刻对每一个AI架构进行提升。

RAdam对不同的学习率具有鲁棒性，同时仍能快速收敛并获得更高的精度(CIFAR数据集)。