梯度下降法、牛顿法及其发展

label：

1、优化算法

2、一阶优化与二阶优化

3、GD、BGD、SGD

4、牛顿法与拟牛顿法

 

………………博客园的编辑器似乎不是很友好。。。图片格式还不好缩放，前几张有点被遮住

…………

……

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 补充：牛顿法相当于用海森矩阵的逆来对负梯度方向进行了修正（线性变换用矩阵描述），从而更快到达极值点。

转载于:https://www.cnblogs.com/asprin/p/9190546.html