pytorch梯度下降函数_Pytorch入门教程05-梯度下降算法 | 文艺数学君

摘要之前我们讲了如何求梯度, 如何使用Pytorch求解梯度. 这里我们介绍梯度下降法, 用一个例子, 介绍如何优化参数.

简介

上一篇我们计算得到了各个系数(w1和w2)的梯度, 这一篇我们介绍梯度下降法, 来优化这些系数. 这一篇主要有以下几个部分:

梯度下降法的简单介绍;

手动实现梯度下降法;

使用Pytroch自动实现梯度下降, 结合backward实现.

这一部分的代码已经上传github: 梯度下降法示例

梯度下降介绍

由于梯度表示的是函数上升最快的方向, 因此梯度的反方向也应该是函数下降最快的方向. 我们每次到了一个新的位置, 就会就计算该位置的梯度, 找到下一步下降最快的方向. 整个过程如下所示, 我们每次更新一小步, 逐渐找到最优点的位置.

若J是损失函数, 则根据梯度和当前位置更新下一次所在位置的数学表达式如下:

我们反复进行迭代, 就可以找到J的最优的系数theta.

人工实现梯度下降法

生成测试数据

我们这里用一个一元线性回归来作为例子. 首先我们生成测试数据. X和Y关系是: Y=2X.

# 定义数据集合

X = np.arange(0,10,0.1, dtype=np.float32)

Y = 2*X + 2*np.random.random(100)

我们对数据进行可视化.

# 可视化数据集

fig = plt.figure(figsize=(12,8))

ax = fig.add_subplot(1,1,1)

ax.scatter(X,Y)

fig.show()

可视化结果如下所示:

定义损失函数

我们希望找出一个W, 使得W*X的值与Y越接近越好. 那么如何判断W的好坏呢. 我们定义一个loss function如下所示:

接着我们对其求偏导, 求出w的导数.

于是, 我们定义求w梯度的式子.

#返回dJ/dw

def gradient(x, y, w):

"""计算梯度

"""

return np.mean(2*w*x*x-2*x*y)

梯度下降

接着我们就可以对参数w进行优化, 有以下的步骤:

随机初始化一个w的值;

在该w 下进行正向传播, 得到所有x的预测值 y_pre;

通过实际的值y和预测值y_pre计算损失;

通过损失计算梯度dw;

更新w = w-lr*dw, 其中lr为步长(learning rate), 可自定义具体的值;

重复步骤2-5, 直到损失降到较小位置;

我们先定义一些变量.

# 我们先定义一些变量

def forward(x):

return w * x

def loss(y, y_pred):

return ((y_pred - y)**2).mean()

w = 0.0 # 初始化系数

# 定义步长和迭代次数

learning_rate = 0.001

n_iters = 100

接着我们使用上面的步骤1-6, 使用梯度下降法, 来求解参数w. 因为我们上面已经是直接对loss进行求导得到了结果, 所在在实际计算的时候, 其实不用forward和计算的loss的.

for epoch in range(n_iters):

# 彰显传播

y_pred = forward(X)

#计算损失

# l = loss(Y, y_pred)

#计算梯度

dw = gradient(X, Y, w)

#更新权重 w

w = w - learning_rate * dw

if epoch % 20 == 0:

print(f'epoch {epoch+1}: w = {w:.3f}, loss = {l:.8f}')

print(f'根据训练模型预测，当 x=7 时，y 的值为： {forward(7):.3f}')

"""

epoch 1: w = 0.142, loss = 0.06237932

epoch 21: w = 1.639, loss = 0.06237932

epoch 41: w = 2.024, loss = 0.06237932

epoch 61: w = 2.123, loss = 0.06237932

epoch 81: w = 2.148, loss = 0.06237932

根据训练模型预测，当 x=7 时，y 的值为： 15.084

"""

结果可视化

# 绘制预测曲线

y_pre = forward(X)

fig = plt.figure(figsize=(12,8))

ax = fig.add_subplot(1,1,1)

ax.scatter(X,Y)

ax.plot(X, y_pre, 'g-',  lw=3)

fig.show()

最终的结果如下所示:

Pytorch中的梯度下降法

上面我们推导的是一元线性函数的损失函数的梯度公式, 他是比较容易推导的.

但是在实际操作中, 在很多机器学习中, 模型的函数表达式是非常复杂的, 这个时候手动计算梯度就会变得十分复杂. 这个时候就要用到上一篇所讲的.backward(), 使用Pytorch自动求解梯度, 并使用求出的梯度进行梯度下降, 来得到优化的w.

我们还是使用上面的例子来进行说明. 首先我们将变量转换为张量的形式.

X = np.arange(0,10,0.1, dtype=np.float32)

Y = 2*X + 2*np.random.random(100)

X_tensor = torch.from_numpy(X)

Y_tensor = torch.from_numpy(Y)

w = torch.tensor(0.0, dtype=torch.float32, requires_grad=True)

learning_rate = 0.001

n_iters = 100

接着使用.backward()来进行求梯度, 并进行梯度下降.

for epoch in range(n_iters):

y_pred = forward(X_tensor)

l = loss(Y_tensor, y_pred) # 求误差

l.backward() # 求梯度

with torch.no_grad():

w.data = w.data - learning_rate * w.grad

# 清空梯度

w.grad.zero_()

if epoch % 20 == 0:

print(f'epoch {epoch+1}: w = {w.item():.3f}, loss = {l.item():.3f}')

print(f'根据训练模型预测, 当x=5时, y的值为： {forward(5):.3f}')

"""

epoch 1: w = 0.140, loss = 149.477

epoch 21: w = 1.618, loss = 10.344

epoch 41: w = 1.999, loss = 1.151

epoch 61: w = 2.096, loss = 0.544

epoch 81: w = 2.121, loss = 0.504

根据训练模型预测, 当x=5时, y的值为： 10.638

"""