《PyTorch 深度学习实践》第3讲 梯度下降算法

刘二大人 《PyTorch深度学习实践》第3讲 梯度下降算法

1. 梯度下降算法实现

# 梯度下降算法
import matplotlib.pyplot as plt
# step 1 准备数据
x_data=[1.0,2.0,3.0]
y_data=[2.0,4.0,6.0]
x_num=len(x_data) #样本数量
w=1.0 # 初始值
# step 2 选择模型 y=wx
# 前馈计算
def forward(x):
    return x*w
# 定义成本函数 MSE(均方误差)
def cost(xs,ys):
    total_cost=0
    for x,y in zip(xs,ys):
        y_pred=forward(x)
        loss=(y_pred-y)**2
        total_cost+=loss
    return total_cost/x_num
# 定义梯度下降
def gradient(xs,ys):
    total_grad=0
    for x,y in zip(xs,ys):
        grad=2*x*(x*w-y)
        total_grad+=grad
    return total_grad/x_num
    # 训练前 预测
print('Predict (before training)',4,forward(4))
# step3 模型训练
epoch_list=[]
cost_list=[]
for epoch in range(100):
    epoch_list.append(epoch+1)
    # 计算成本
    loss=cost(x_data,y_data)
    cost_list.append(loss)
    # 计算梯度
    grad=gradient(x_data,y_data)
    # 更新参数
    w-=0.01*grad
    # 打印训练1个轮次的信息 
    print('Epoch: ',epoch+1,'w=',w,'loss=',loss)
# step 4 预测
print('Predict (after training)',4,forward(4))
# step 5 绘制损失函数图
plt.plot(epoch_list,cost_list,'m')
plt.xlabel('epoch')
plt.ylabel('cost')
plt.show()

2. 随机梯度下降算法实现

# 随机梯度下降算法
import matplotlib.pyplot as plt
# step1 准备数据
x_data=[1.0,2.0,3.0]
y_data=[2.0,4.0,6.0]
# step2 选择模型 y=wx
w=1.0 #初始化
# 前馈计算
def forward(x):
    return x*w
# 定义单个样本损失函数
def loss(x,y):
    y_pred=forward(x)
    return (y_pred-y)**2
# 定义单个样本梯度下降
def gradient(x,y):
    return 2*x*(x*w-y)
# 初始化预测
print('Predict (before training)',4,forward(4))
#step3 开始训练
epoch_list=[]
total_list=[]
for epoch in range(100):
    # 每次使用一个样本进行训练
    for x,y in zip(x_data,y_data):
        # 计算损失
        losst=loss(x,y)
        # 计算梯度
        grad=gradient(x,y)
        # 更新参数
        w-=0.01*grad
        # 打印每个样本的梯度
        print("\t grad: ",x,y,grad)
        total_list.append(losst)
        epoch_list.append(epoch+1)
    # 打印训练1个轮次的信息
    print('Epoch: ',epoch+1,'w=',w,'loss= ',losst)
# step 4 预测
print('Predict (after training)',4,forward(4))
# step5 绘制损失函数图
plt.plot(epoch_list,total_list)
plt.xlabel('epoch')
plt.ylabel('cost')
plt.grid(True)
plt.show()

3. 总结

梯度下降算法缺点：

• 梯度下降算法容易进入局部最优解（非凸函数），但是实际问题中的局部最优点较少，或已经基本可以当成全局最优点
• 梯度下降算法容易陷入鞍点，（即总体所有点的梯度和为0，导致w=w-0.01*0,w不会改变）
• 普通的梯度下降算法利用数据整体，不容易避免鞍点，算法性能上欠佳，但算法效率高
• 随机梯度下降算法优缺点：
• 采用随机梯度下降，即随机的取一组（x,y)的梯度，作为梯度下降的依据，而不用总体所有点的梯度和，作为梯度下降的依据。实质是使用“噪点”去推动梯度下降。有可能跨越鞍点（神经网络常用）
• 虽然算法性能上良好，但计算过程环环相扣无法将样本抽离开并行运算，因此算法效率低，时间复杂度高
  鞍点：在一个维度上看为极小值点，在其他维度上是极大值点 。
  综上可采取一种折中的方法，即批量梯度下降方法。
  批量梯度下降方法：将若干个样本分为一组，记录一组的梯度用以代替随机梯度下降中的单个样本。

4. 参考

《PyTorch 深度学习实践第3讲-梯度下降算法》: https://www.bilibili.com/video/BV1Y7411d7Ys?p=3&vd_source=435453f6c8cc1940667595c415308e92