梯度下降法一

       学习梯度下降法，首先要掌握梯度，法向量和切线之间的区别。

       步长：一维寻优法

       源码：

%梯度下降法的思路
%步长的第一种解法：一维寻优法
x=[1;3]; 
error=10^(-20);
k=0;
flag=0;

syms x1 x2 L m 
% 目标函数 %
%f=(x1-2)^2+2*(x2-1)^2;
f=x1-x2+2*x1^2+2*x1*x2+x2^2;
d=-[diff(f,x1);diff(f,x2)];  %% 下降方向 %%
%求步长

while flag==0
        temp=subs(d,x1,x(1));
        temp=subs(temp,x2,x(2));
        tt=sqrt(temp(1)^2+temp(2)^2);
        tt=double(tt);
        %temp=temp/tt;
        
        if tt>error
            m=x+L*temp;
            g=subs(f,x1,m(1));
            g=subs(g,x2,m(2));
            g=diff(g,L);
            L1=solve(g);
            x=x+L1*temp;
            k=k+1;
        else
            k
            x=double(x)
            flag=1;
        end
end

结果：

k =

    14


x =

   -1.0000
    1.5000