关于神经网络的优化算法说明，以及LM算法的简单介绍

• 1.神经网络的优化算法有很多，分为一阶优化算法和二阶优化算法。
• 2.一阶就是我们平时常用的梯度法。例如神经网络里面自带的SGD,Adam等等。
• 3.原始的 BP 算法是基于梯度下降法，训练过程是通过调整权值和阀值，使输出期望值和神经网络实际输出值的均方误差梯度趋于最小而实现的。这种基于梯度下降方法是一阶收敛，不仅收敛速度很慢，而且如初始值选取不适当，优化将陷入局部最小或最大值。
• 4.二阶优化算法就是采用二阶导数进行优化算法。二阶导数，有时候也被成为海森矩阵（Hessian），但是计算量很大。LM算法就是一种二阶优化算法。LM 算法是 Gauss-Newton 法的改进形式，既有 Gauss-Newton 法的局部特性，又具有梯度法的全 局特性

 

 

参考：

1. https://blog.csdn.net/autocyz/article/details/83114245?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1
2. http://xueshu.baidu.com/usercenter/paper/show?paperid=c312121e2030f20d101e160da1e48d27&site=xueshu_se