最优化理论——基本牛顿法

算法思想

用迭代点$x_k$处的一阶导数（梯度）和二阶导数（Hess矩阵）对目标函数进行二次函数近似，然后把二次模型的极小点作为新的迭代点，并不断重复这一过程，直至求得满足精度的近似极小点。

算法步骤

代码

Matlab代码如下（由阻尼牛顿法修改而来，不保证绝对正确，若有错欢迎指正）：

function [x,val,k]=nm(fun,gfun,Hess,x0)
%功能: 用基本牛顿法求解无约束问题:  min f(x)
maxk=100;  %给出最大迭代次数
k=0;  epsilon=10^(-5);
while(k<maxk)
    gk=feval(gfun,x0); %计算梯度
    Gk=feval(Hess,x0);  %计算Hesse阵
    dk=-Gk\gk; %解方程组Gk*dk=-gk, 计算搜索方向
    if(norm(gk)<epsilon), break; end  %检验终止准则
    x0=x0+dk;
    k=k+1;
end
x=x0;
val=feval(fun,x); 

示例

编写基本牛顿法的Matlab程序，并求解无约束优化问题
$$minf(x)=4x_1^2+x_2^2-x_1^2{x}_2$$
该问题的初始点取x=(1,1)T，$ϵ=10^{-5}$，记录前20次迭代点列.

fun1函数文件：

function f=fun1(x)
f=4*x(1)^2+x(2)^2-x(1)^2*x(2);

gfun1函数文件：

function gf=gfun1(x)
gf=[8*x(1)-2*x(1)*x(2), 2*x(2)-x(1)^2]';

Hess1函数文件：

function He=Hess1(x)
n=length(x);
He=zeros(n,n);
He=[8-2*x(2), -2*x(1); -2*x(1),2];

交互界面输入：

x=[1,1]'
[x,val,k]=nm('fun1','gfun1','Hess1',x)

结果：

初始点	最优点x	迭代次数k	目标函数值f(x)
(1,1)T	(-0.1586,-0.1631)T*1.0e-04	4	1.2719e-09