梯度下降法及matlab实现

最新推荐文章于 2024-06-09 09:39:23 发布

yangqiang200608

最新推荐文章于 2024-06-09 09:39:23 发布

阅读量2.3w

点赞数 7

分类专栏：最优化文章标签：最速下降法梯度下降法

本文链接：https://blog.csdn.net/yangqiang200608/article/details/78581482

版权

最优化专栏收录该内容

1 篇文章 0 订阅

订阅专栏

梯度下降法又称为最速下降法，是求解无约束优化问题最简单和最古老的方法之一。对无约束最优化问题：

min x \in R n f (x)

$\min_{x\in\mathscr R^n} f(x)$ 梯度下降法是负梯度方向

dk=−∇f(xk) $d_{k}=-\nabla f(x_{k})$
取负梯度的原因：设

f(x) $f(x)$ 在

xk $x_{k}$ 附近连续可微,

dk $d_{k}$ 为搜索方
向向量,

gk=∇f(xk) $g_{k}=\nabla f(x_{k})$ . 由泰勒展开式得

f(xk+αdk)=f(xk)+αgTkdk+o(α),α>0. $f(x_{k}+\alpha d_{k})=f(x_{k})+\alpha g_{k}^T d_{k}+o(\alpha),\alpha >0.$
目标函数

f(x) $f(x)$ 在

xk $x_{k}$ 处沿方向

dk $d_{k}$ 下降的变化率：

lim α \to 0 f ( x k + α d k ) - f ( x k ) α = lim α \to 0 α g T k d k + o ( α ) α = g T k d k = ∥ g k ∥ ∥ d k ∥ cos (θ ¯ k)

$\lim_{\alpha \to 0}\frac{f(x_{k}+\alpha d_{k})-f(x_{k})}{\alpha}=\lim_{\alpha \to 0}\frac{\alpha g_{k}^T d_{k}+o(\alpha)}{\alpha}=g_{k}^Td_{k}=\Vert g_{k}\Vert \Vert d_{k}\Vert \cos(\bar \theta_{k})$
其中

θ¯k $\bar \theta_{k}$ 是

gk $g_{k}$ 与

dk $d_{k}$ 的夹角。显然, 对于不同的方向

dk $d_{k}$ , 函数变化率取决于它与

gk $g_{k}$ 夹角的余弦值.要使变化率最小,只

cos(θ¯k)=−1 $cos(\bar \theta_{k})=-1$ , 即

θ¯k=π $\bar \theta_{k}=\pi$ 时才能达到。
梯度下降法：
step1: 选取初始点

x0∈Rn $x_{0}\in \mathscr R^n$ , 容许误差

0<ϵ≪1 $0\lt\epsilon\ll1$ . 令

k:=1 $k:=1$ .
step2: 计算

gk=∇f(xk) $g_{k}=\nabla f(x_{k})$ . 若

∥gk∥≤ϵ $\Vert g_{k}\Vert\le \epsilon$ , 停算, 输出

xk $x_{k}$ 作为近似最优解.
step3: 取方向

dk=−gk $d_{k}=-g_{k}$ .
step4: 由线搜索技术确定步长因子

αk $\alpha_{k}$ .
step5: 令

xx+1=xk+αkdk $x_{x+1}=x_{k}+\alpha_{k} d_{k}$ ,

k=k+1 $k=k+1$ , 转step1.

matalb代码如下：

function [x,val,k]=grad(fun,gfun,x0)
% 功能: 用最速下降法求解无约束问题:  min f(x)
%输入:  x0是初始点, fun, gfun分别是目标函数和梯度
%输出:  x, val分别是近似最优点和最优值,  k是迭代次数.
maxk=5000;   %最大迭代次数
rho=0.5;sigma=0.4;
k=0;  epsilon=1e-5;
while(k<maxk)
    g=feval(gfun,x0);  %计算梯度
    d=-g;    %计算搜索方向
    if(norm(d)<epsilon), break; end
    m=0; mk=0;
    while(m<20)   %Armijo搜索
        if(feval(fun,x0+rho^m*d)<feval(fun,x0)+sigma*rho^m*g'*d)
            mk=m; break;
        end
        m=m+1;
    end
    x0=x0+rho^mk*d;
    k=k+1;
end
x=x0;
val=feval(fun,x0);