预备知识 一、正定和半正定矩阵,以及其性质 一、牛顿法和拟牛顿法(二阶优化方法) 1、牛顿法 2、拟牛顿法 3、牛顿法和梯度下降法 4、牛顿法和深度学习 二、海塞矩阵(了解) 三、鞍点问题(掌握) 四、最优化问题-如何逃离鞍点 正文 一、SGD 1.2 SGDM 1.3 对比 二、自适应系列 2.1 AdaGrad 2.2 Adam 各个方法的手推总结