最速下降法牛顿法matlab实现

牛顿法

牛顿法主要应用在两个方面, 1, 求方程的根; 2, 最优化。

牛顿法是收敛速度最快的方法，其缺点在于要求Hessian矩阵（二阶导数矩阵）。牛顿法与梯度法很相似，先说一下梯度法：1是求梯度，也就是斜率，梯度就是函数变化比较大的地方，取它的反方向。2是求步长，就是每一步走多远。可以这样理解，假如你站在山上的某一个位置，你想最快的下山，你是不是一步一步的走。首先在你现在这个位置确定你往那个方向走，然后再确定你走多远，到了另一个位置，是不是也要确定你的方向，然后走多远，你不可能沿着一个方向走吧。
下图已经详细的介绍了牛顿法。

matlab实现

function [min_x,min_f,k] =steepEst_3(f,x0,var,eps)
%%%f是目标函数，x0是初始点，以及自变量var和精度eps
%%%利用牛顿法计算无约束目标函数的极小值
%%%输出最小值点min_x,min_f事最小值，以及迭代次数
syms a; %创建一个符号变量
ff=sym(f);
j=jacobian(f,var);                            %计算函数的雅可比矩阵，
falg=1;                           %！！！知识点：梯度恰好是雅可比矩阵的转置；
x=x0;
k=0;                                          %计数器；
while falg
    g=(double(subs(j,var,x)));                %subs函数；不明白的可以去问问度娘!
    %意思就是让该函数的雅克比矩阵中的var变量换成初始值
    if norm(g,2)>eps 
%         disp()
        %算法停止标准；
        f_a=subs(ff,var,x-a*g); % 对输入的函数f的var变量换成x-a*g
        f_diff = simplify(diff(f_a,a));      
        alpha = max(double(solve(f_diff)));   %求解步长\alpha，solve用来求解解线性方程组的解析解或者精确解
        x=double(x-alpha*g);                  %产生新迭代点；
        k=k+1;
    else
        break
    end
end
min_x=x;                                      %最优解
min_f=subs(f,var,min_x);                      %目标函数最小值。

参考

机器学习中梯度下降法和牛顿法的比较
梯度下降法和牛顿法的总结与比较