附录 优化算法小结

>>>牛顿法 ： https://blog.csdn.net/qq_28743951/article/details/82221515

>>>拟牛顿法： 在牛顿法的基础上对海森矩阵或者海森矩阵的逆矩阵做近似 https://blog.csdn.net/itplus/article/details/21896619 

>>>DFP拟牛顿法：对海森矩阵的逆矩阵做近似。  https://blog.csdn.net/itplus/article/details/21896981

>>>BFGS拟牛顿法： 对海森矩阵做近似  https://blog.csdn.net/itplus/article/details/21897443

>>>拟牛顿法的L-BFGS算法  减少内存消耗对BFGS方法进行的改进。  https://blog.csdn.net/itplus/article/details/21897715

>>>阻尼牛顿法：在牛顿法确定搜索迭代方向的基础上，对损失函数求极值确定最佳步长。

>>>最速下降法： https://blog.csdn.net/u010182633/article/details/78359968  主要是确定每一步迭代的步长

方法1：可以使用线性搜索，即阻尼牛顿法确定步长 α

方法2：在海森矩阵可以得到的情况下，直接利用解析式得到步长α的表达式。

>>>优化方法汇总： https://blog.csdn.net/tsyccnh/category_9272367.html