学习梯度下降法,首先要掌握梯度,法向量和切线之间的区别。
步长:一维寻优法
源码:
%梯度下降法的思路
%步长的第一种解法:一维寻优法
x=[1;3];
error=10^(-20);
k=0;
flag=0;
syms x1 x2 L m
% 目标函数 %
%f=(x1-2)^2+2*(x2-1)^2;
f=x1-x2+2*x1^2+2*x1*x2+x2^2;
d=-[diff(f,x1);diff(f,x2)]; %% 下降方向 %%
%求步长
while flag==0
temp=subs(d,x1,x(1));
temp=subs(temp,x2,x(2));
tt=sqrt(temp(1)^2+temp(2)^2);
tt=double(tt);
%temp=temp/tt;
if tt>error
m=x+L*temp;
g=subs(f,x1,m(1));
g=subs(g,x2,m(2));
g=diff(g,L);
L1=solve(g);
x=x+L1*temp;
k=k+1;
else
k
x=double(x)
flag=1;
end
end
结果:
k =
14
x =
-1.0000
1.5000