PyTorch学习之梯度下降法

梯度下降法是一种贪心算法，可以帮助求解函数的（局部）最小值。对于凸函数（如二次函数），梯度下降一定可以找到最优值。

下面模拟梯度下降方法，任务是对于以下数据：

x = [1.,2.,3.]
y = [3.,6.,9.]

我们使用线性回归模型模型$\hat{y}=x\ast \omega$，找到使得损失最小的$\omega$。

import torch
import numpy as np
x = [1.,2.,3.]
y = [3.,6.,9.]
def forward(x):
    return x*w

def loss(x,y):
    totloss = 0
    for u,v in zip(x,y):
        totloss = totloss + (forward(u)-v)**2
    return totloss/len(y)

def GD(x,y):
    gdval = 0
    for u,v in zip(x,y):
        gdval = gdval + 2*(forward(u) - v)*u
    return gdval/len(x)

w = 10
lr = 0.01
epo_list = []
loss_l = []
w_l = []

for epoch in range(100):
    epo_list.append(epoch)
    loss_val = loss(x,y)
    loss_l.append(loss_val)
    w = w - lr*GD(x,y)
    w_l.append(w)
    print('loss : ',loss_val,' ' ,'w : ',w)

绘制损失随迭代次数变化的图像：

绘制$\omega$随迭代次数变化的图像：