常见非线性优化算法总结（续）

常见的：

1.梯度下降：全批度下降，随机梯度下降（SGD），小批量梯度下降（batch SGD）

2.牛顿法：优化函数的二阶导数信息，海森矩阵求解困难，还有海森矩阵的逆。

3.拟牛顿法：拟牛顿法的本质思想是改善牛顿法每次需要求解复杂的Hessian矩阵的逆矩阵的缺陷，它使用正定矩阵来近似Hessian矩阵的逆，从而简化了运算的复杂度。

4.共轭梯度法：共轭梯度法是介于梯度下降法（最速下降法）与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了梯度下降法收敛慢的缺点，又避免了牛顿法　　　　                          需要存储和计算Hessian矩阵并求逆的缺点，共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。在                            各种优化算法中，共轭梯度法是非常重要的一种。其优点是所需存储量小，具有逐步收敛性，稳定性高，而且不需要任何外来参数。

转载于:https://www.cnblogs.com/mdumpling/p/8227856.html