梯度下降算法(Gradient descent)

Matlab代码：

% parameter
% 梯度下降法, gradient descent
% heart_scale 数据, 
% Iteration fuction: x(n+1)= x(n)- alpha*grad
% f(x)= 1/2*||y- Ax||^2, 让f(x)最小


% create data
A= rand(20);
y= rand(20, 1);
x= rand(20, 1); % initialize x


% parameter
alpha= 0.001;
iter= 1;
error= 1; 
maxiter= 300;


while error> 1e-1 && iter< maxiter
    
    f(iter)= 1/2*(norm(A*x- y))^2; 
    x_new= x- alpha*(A'*A*x- A'*y);
    
    newf= 1/2*(norm(A*x_new- y))^2; 
    
    fprintf('The %dth iteration, f = %f, \n', iter, f(iter));
    
    error= f(iter)- newf;
    x= x_new;
    iter= iter+ 1; 
end


plot(f, 'r-')
xlabel('Number of iteration')
ylabel('Value of function')
legend('Gradient descent')