牛顿法

公式：
f(x)是代价函数（二次可微实函数），展开成泰勒级数。

$$f(x)\approx\phi(x)=f(x^{(k)})+\frac{\partial{f(x^{(k)})}}{\partial{x^{(k)}}}(x-x^{(k)})+\frac{1}{2}(x-x^{(k)})^{T}\frac{\partial^2{f(x^{(k)})}}{\partial{x^{(k)}}}(x-x^{(k)})$$
为了求 $\frac{\partial{\phi(x)}}{\partial{x}}$的平稳点，令：
$$\frac{\partial{\phi(x)}}{\partial{x}}=0$$
即：
$$\frac{\partial{f(x^{(k)})}}{\partial{x^{(k)}}}+\frac{\partial^2{f(x^{(k)})}}{\partial{x^{(k)}}}(x-x^{(k)})=0$$
设 $\frac{\partial^2{f(x^{(k)})}}{\partial{x^{(k)}}}$可逆，得到牛顿迭代公式：
$$x^{k+1}=x^{k}-(\frac{\partial^2{f(x^{(k)})}}{\partial{x^{(k)}}})^{-1}\frac{\partial{f(x^{(k)})}}{\partial{x^{(k)}}}$$

例子与ｍａｔｌａｂ代码：

$$\min{(x_1-1)^4+x_2^2}$$

x_old = [0;0];
x_new = [0;0];
for i = 1:100
    x_old = x_new;
    fx1 = [4*(x_old(1)-1).^3; 2*x_old(2)];
    fx2 = [1/(12*(x_old(1)-1).^2) ,0 ; 0, 1/2];
    x_new = x_old - fx2*fx1;
end
x_new

结果：

$$x_{new} = [1;0]$$

特别对于二次凸函数，用牛顿法求解，经１次迭代就可以达到极小值：
设有二次凸函数

$$f(x)=\frac{1}{2}x^TAx+b^Tx+c$$
其中Ａ是正定对称矩阵。
利用极值条件求解：
$$▽f(x)=Ax+b = 0$$
得到最优解为：
$$x=-A^{-1}b$$
利用牛顿法求解
$$x^{2}=x^{1}-A^{-1}(Ax^{1}+b)=-A^{-1}b$$