牛顿法与拟牛顿法

 

 

优化问题：函数的一阶导函数的零点即为优化问题的解，从而这里的一阶导函数相当于上面的牛顿法中的原函数。

若多元函数这里出现多元二阶导数

===》引入海森矩阵

===》当我们的特征特别多的时候，求海森矩阵的逆的运算量是非常大且慢的，这对于在实际应用中是不可忍受的，因此我们想能否用一个矩阵来代替海森矩阵的逆呢，这就是拟牛顿法的基本思路=》引入拟牛顿法。

 

参考链接:

1.https://blog.csdn.net/batuwuhanpei/article/details/51979831

2.https://blog.csdn.net/a819825294/article/details/52172463