梯度下降法

梯度下降法

一、定义

梯度下降法是用来计算函数最小值的。它的思路很简单，就相当于在一个山顶放了一个小球，一松手小球就会顺着山坡最陡峭的地方滚落到谷底。

二、目的

凸函数图像看上去就像上面的山谷，如果运用梯度下降法的话，就可以通过一步步的滚动最终来到谷底，也就是找到了函数的最小值。
Have some function
$$J({\theta }_0,{\theta }_1)$$
want
$$\underset{{\theta }_0,{\theta }_1}{\min }J({\theta }_0,{\theta }_1)$$
初始化
$${\theta }_0,{\theta }_1$$
不断改变这两个值的大小，直到目标函数到达一个全局最小值，或局部极小值。
基本迭代式：
$$x_{k+1}=x_k+t_k{p}_k$$

三、原理

我们总是考虑从点x_k出发沿哪一个方向p_k,使目标函数f下降得最快。由微积分的知识可以得到，点x_k的负梯度方向
$$p_k=-\nabla f(x_k)$$
是从点x_k出发使得f下降最快的方向。为此，称负梯度方向 $$\nabla f(x_k)$$
为f在点x_k处的最速下降方向。

四、步骤

1. 选取初始数据。选取初始点x₀，给定终止误差，令k=0

2. 求梯度向量。计算$$\nabla f(x_k)$$，若
   $$\mid \mid \nabla f(x_k)\mid \mid \le \epsilon$$
   停止迭代，输出x_k。否则到3计算。

3. 构造负梯度方向。取

$$p_k=-\nabla f(x_k)$$

4. 进行一维搜索。求t_k,使得
   $$f(x_k+t_k{p}_k)=\underset{t\ge 0}{\min }f(x_k+t{p}_k)$$
   令
   $$x_{k+1}=x_k+t_k{p}_k,k:=k+1$$
   跳转到2。

五、示例

以梯度下降法求解无约束非线性规划问题
$$minf(x)=x_1^2+25x_2^2$$
其中
$$x=(x_1,x_2{)}^T$$
要求选取初始点
$$x_0=(2,2{)}^T$$
解：
$$\nabla f(x_0)=(2x_1,50x_2){|}_{x_0=2,x_0=2}=(4,100)$$
$$x_1=x_0-\eta \nabla f(x_0)=(2,2)-0.01(4,100)=(1.96,1)$$
$$\nabla f(x_1)=(2x_1,50x_2){|}_{x_1=1.96,x_2=1}=(3.92,50)$$
$$x_2=x_1-\eta \nabla f(x_1)=(1.96,1)-0.01(3.92,50)=(1.9208,0.5)$$

MATLAB代码

clear all, close all, clc
x = [2;2];
[f0, g] = detaf(x);
while norm(g) > 0.000001
    p = -g/norm(g);
    t = 1.0;
    f = detaf(x+t*p);
    while f > f0
        t = t/2;
        f = detaf(x+t*p);
    end
    x = x + t*p;
    [f0, g] = detaf(x);
end
x, f0

detaf函数

function [f, df] = detaf(x)
f = x(1)^2 + 25*x(2)^2;
df = [2*x(1); 50*x(2)];
end

Python代码

def detaf(x):
    f = x[0]**2 + 25*x[1]**2
    df = [2*x[0],50*x[1]]
    return f, df
x = [2, 2];
f0, g = detaf(x)
while np.linalg.norm(g) > 0.000001:
    p = -np.array(g)/np.linalg.norm(g)
    t = 1
    f = (detaf(x+t*p))[0]
    while f > f0:
        t = t/2
        f = detaf(x+t*p)[0]
        #print(f)
    x = x+t*p
    f0, g = detaf(x)
x, f0
(x+t*p))[0]
    while f > f0:
        t = t/2
        f = detaf(x+t*p)[0]
        #print(f)
    x = x+t*p
    f0, g = detaf(x)
x, f0