几种常见的优化算法

目录

神经网络优化最重要的思想:

1. 梯度下降法（Gradient Descent）(一阶)

2. 牛顿法和拟牛顿法（Newton's method & Quasi-Newton Methods）(二阶)

2.1牛顿法

2.2拟牛顿法

3. 共轭梯度法（Conjugate Gradient）

4. 启发式优化方法

5.待补充

---

神经网络优化最重要的思想:

梯度的反向传播,具体的过程就是:先通过正向传播,由输入得到预测模型,然后把预测和真实值的残差(损失,代价函数https://mp.csdn.net/postedit/89469695,,,,,https://mp.csdn.net/postedit/89436882),根据链式求导法则,将梯度反向传递到各个参数中,对参数更新.常见的最优化方法有梯度下降法、牛顿法和拟牛顿法、共轭梯度法等等。

 

1. 梯度下降法（Gradient Descent）(一阶)

查看以前的论文介绍https://mp.csdn.net/postedit/89435986

梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向，所以也被称为是”最速下降法“。最速下降法越接近目标值，步长越小，前进越慢