运筹学(2)-牛顿法

运筹学（2）
多维无约束优化算法——梯度法之牛顿法

一. 原理

牛顿法与最速下降法同属于求解多维无约束优化算法的搜索算法，也是梯度法的一种。但与最速下降法最大的不同在于为了避免最速下降法锯齿形的搜索路径在接近最优点时收敛过慢，牛顿法的迭代更新公式在搜索方向得选择策略上与最速下降法是最大的区别。牛顿法的思想就是在每一次迭代中，以一个二次函数来近似表示所要求解的目标函数，搜索迭代方向从迭代的那一点指向二次函数的极值点。并且如果目标函数为二次正定函数，牛顿法一次迭代就可以最优。
（1）搜索方向$p$的计算
在 $x^{(k)}$ 处对$f(x)$用一个二次函数代替得：

f(x)≈f(x(k))+Δf(x(k))T(x−x(k))+12(x−x(k))Δ2f(x