深度学习-优化策略目录
前言
本深度学习系列是根据paddle飞浆所简单整理的,需要可自行跳转学习。本节是关于深度学习-优化策略的相关内容,包括梯度下降算法背景、Momentum、NAG、AdaGrad、AdaDelta、RMSProp、Adam、AdaMax、Nadam、AMSGrad、AdaBound、AdamW、RAdam、Lookahead等。这是只会简单记录小部分知识,目的是方便以后复习。
本深度学习系列是根据paddle飞浆所简单整理的,需要可自行跳转学习。本节是关于深度学习-优化策略的相关内容,包括梯度下降算法背景、Momentum、NAG、AdaGrad、AdaDelta、RMSProp、Adam、AdaMax、Nadam、AMSGrad、AdaBound、AdamW、RAdam、Lookahead等。这是只会简单记录小部分知识,目的是方便以后复习。