问题 深度学习中有很多优化函数,常见的那些你还记得它的定义以及优缺点吗? 背景知识 深度学习网络训练中,有很多可供选择的优化函数如SGD、Adam等等,到底用哪个好呢?其实这个问题没有确切的答案,优化函数是需要配合损失函数使用的,说白了,优化函数也是一种超参数,是需要尝试的,哪个效果好就用哪个…… 这些优化函数其实差别不大,都是基于一个基本框架来演进的,所以下面先介绍下优化算法的基本框架: 1、优化算法基本框架 (记住这个框架!!!) 假设当前时刻待优化的参数为 θ t \theta_t