【Pytorch深度学习实践】笔记二 【梯度下降】

视频学习资源链接

【Pytorch深度学习实践】完结合集

1.梯度下降

就是在每一步权重更新时，沿着当前负梯度方向（最小化问题）按照规定的步长进行下一步搜寻。本质就是贪心算法——也就是按照当前最优的策略进行搜寻。

缺点

贪心算法并不一定能得到最优结果，梯度下降算法也是一样，不一定总能找到全局最优解。虽然梯度下降算法存在着这样的问题，但是它依然被广泛应用于深度学习之中，因为在深度学习模型所使用的激活函数中“局部最优”的问题并不显著，反而更应该关注“鞍点”梯度消失的问题。鞍点会在下文随机梯度下降算法中提到。

梯度公式

如下图，图中cost是对所有样本loss的加权平均，即上一讲中提到的MSE。对权重w的更新公式中，α为学习率，注意不能取值过大，避免错过loss最低点。

梯度下降代码

// 
import numpy as np
import matplotlib.pyplot as plt
from matplotlib import cm
from mpl_toolkits.mplot3d import Axes3D

#实现定义好数据集的x值和y值
x_data = [1.0,2.0,3.0]
y_data = [2.0,4.0,6.0]

#定义好初始权重
w = 1.0

#定义预测函数，因为是要确定损失值随着w的变化情况
#后续会根据计算的梯度值来动态更新权重w
def forward(x):
    return x*w

#定义损失函数的计算方式，使用梯度下降算法，计算数据集内所有样本的损失MSE
def cost(xs, ys):
    cost = 0
    for x, y in zip(xs,ys):
        y_pred = forward(x)
        cost += (y_pred - y)**2
    return cost / len(xs)

#定义梯度的计算方式，根据MSE的公式得到梯度的一般表达式
def gradient(xs,ys):
    grad = 0
    for x, y in zip(xs,ys):
        grad += 2*x*(x*w - y)
    return grad / len(xs)

print('Predict (before training)',4,forward(4))
epoch_list = []
cost_list = []
#按照梯度下降算法进行训练
for epoch in range(100):
    cost_val = cost(x_data, y_data)
    grad_val = gradient(x_data, y_data)
    w -= 0.01 * grad_val  # 0.01 学习率
    print('epoch:', epoch, 'w=', w, 'loss=', cost_val)
    epoch_list.append(epoch)
    cost_list.append(cost_val)
    
print('Predict (after training)',4,round(forward(4),2))

plt.plot(epoch_list,cost_list)
plt.ylabel('Cost')
plt.xlabel('Epoch')
plt.show()

部分结果截图如下

2.随机梯度下降

比较其二者的权重更新公式

随机梯度下降SGD，就是每次只随机取一个数据点计算其损失值，并根据这一个样本的损失值进行梯度求解，权重更新；

鞍点

鞍点如下图，当到达鞍点时显然梯度g为0，此时w = w - α*g，w并不会改变，即再继续训练也没有权重更新。这样会导致可能达不到全局最优点。

SGD特点

可以辅助解决“鞍点”的问题，因为在真实场景中采集到的数据都是有噪声的，噪声带进来的随机偏差就有可能帮助训练走出“梯度消失”的困境；
但是因为每两个数据点之间的训练是相互关联的，所以随机梯度下降算法中对于不同数据点函数值的计算不可以采取并行的技术；
batch-梯度下降的提出就可以很好地兼顾梯度下降的并行化技术和随机梯度下降的优化性能。batch即每次取样本中的m个数据为一批，对这批数据的loss求加权平均，用于求梯度。

随机梯度下降代码 1.每轮epoch中随机选一个样本参与权重更新

// 
import numpy as np
import random
import matplotlib.pyplot as plt
from matplotlib import cm
from mpl_toolkits.mplot3d import Axes3D

#实现定义好数据集的x值和y值
x_data = [1.0,2.0,3.0]
y_data = [2.0,4.0,6.0]

#定义好初始权重
w = 1.0

#定义预测函数，因为是要确定损失值随着w的变化情况
#后续会根据计算的梯度值来动态更新权重w
def forward(x):
    return x*w

#定义损失函数的计算方式，使用梯度下降算法，计算传入的某一样本的损失MSE
def loss(x,y):
    y_pred = forward(x)
    return (y-y_pred)**2

#d定义梯度的计算方式，根据MSE的公式得到梯度的一般表达式
def gradient(x,y):
    return 2 * x * (x * w - y)

print('Predict (before training)',4,forward(4))
epoch_list = []
loss_list = []
#按照梯度下降算法进行训练
for epoch in range(100):
    index = random.randint(0,2)#随机抽取数据集中的样本
    x = x_data[index]
    y = y_data[index]
    grad = gradient(x,y)
    w -= 0.01 * grad
    print('\tgrad：',x,y,round(grad,2))
    l = loss(x,y)
    epoch_list.append(epoch)
    loss_list.append(l)
    print('Epoch:',epoch,'w=', w,'loss=',l)
print('Predict (after training)',4, forward(4))

plt.plot(epoch_list,loss_list)
plt.ylabel('Cost')
plt.xlabel('Epoch')
plt.show()

结果如下图

随机梯度下降代码 2.每轮epoch中每一个样本都参与权重更新

import matplotlib.pyplot as plt
 
x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]
 
w = 1.0
 
def forward(x):
    return x*w
 
# calculate loss function
def loss(x, y):
    y_pred = forward(x)
    return (y_pred - y)**2
 
# define the gradient function  sgd
def gradient(x, y):
    return 2*x*(x*w - y)
 
epoch_list = []
loss_list = []
print('predict (before training)', 4, forward(4))
for epoch in range(100):
    for x,y in zip(x_data, y_data):
        grad = gradient(x,y)
        w = w - 0.01*grad    # update weight by every grad of sample of training set
        print("\tgrad:", x, y,grad)
        l = loss(x,y)
    print("progress:",epoch,"w=",w,"loss=",l)
    epoch_list.append(epoch)
    loss_list.append(l)
 
print('predict (after training)', 4, forward(4))
plt.plot(epoch_list,loss_list)
plt.ylabel('loss')
plt.xlabel('epoch')
plt.show()