Pytorch深度学习实践 第三讲 梯度下降算法

第三讲代码部分实现，根据错错莫整理
1、梯度下降算法

import matplotlib.pyplot as plt

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]
#预猜测w为1.0
w = 1.0

def forward(x):
    return x * w

def cost(xs, ys):
    cost = 0
    for x, y in zip(xs, ys):
        # 计算y_hat
        y_pred = forward(x)
        # 计算平方和（y_hat - y）^2
        cost += (y-y_pred) ** 2
        # 求均值
    return cost / len(xs)
# 计算梯度
def gradients(xs, ys):
    grad = 0
    for x, y in zip(xs, ys):
        grad += 2 * x * (x*w - y)
    return grad / len(xs)

print('Predict (before training)', 4, forward(4))
# 进行100轮的训练


epoch_list = []
cost_list = []
for epoch in range(100):

    cost_val = cost(x_data, y_data)
    grad_val = gradients(x_data, y_data)
    # w=w-学习率*梯度
    w -= 0.01 * grad_val
    print('Epoch:', epoch, 'w=', w, 'loss=', cost_val)
    epoch_list.append(epoch)
    cost_list.append(cost_val)
print('Predict (after training)', 4, forward(4))

plt.plot(epoch_list, cost_list)
plt.ylabel('Cost')
plt.xlabel('epoch')
plt.show()

效果图：

两者的不同：
随机梯度下降法和梯度下降法的主要区别在于：

• 损失函数由cost()更改为loss()。cost是计算所有训练数据的损失，loss是计算一个训练函数的损失。
• 梯度函数gradient()由计算所有训练数据的梯度更改为计算一个训练数据的梯度。
• 本算法中的随机梯度主要是指，每次拿一个训练数据来训练，然后更新梯度参数。本算法中梯度总共更新100(epoch)x3 =
  300次。梯度下降法中梯度总共更新100(epoch)次。

2、随机梯度下降算法

import matplotlib.pyplot as plt

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]
#预猜测w为1.0
w = 1.0

def forward(x):
    return x * w

def loss(x, y):
    # 计算y_hat
    y_pred = forward(x)
    return (y_pred - y) ** 2
# 计算梯度
def gradients(x, y):
    return 2*x*(x*w - y)

print('Predict (before training)', 4, forward(4))

# 进行100轮的训练
# Update weight by every grad of sample of train set
epoch_list = []
loss_list = []
for epoch in range(100):
    for x, y in zip(x_data, y_data):
        grad = gradients(x, y)
        # w=w-学习率*梯度
        w -= 0.01 * grad
        print("\t grad:", x, y, grad)
        #计算损失
        l = loss(x, y)

    print("progress:", epoch, "w=", w, "loss=", l)
    epoch_list.append(epoch)
    loss_list.append(l)

print('Predict (after training)', 4, forward(4))
plt.plot(epoch_list, loss_list)
plt.ylabel('loss')
plt.xlabel('epoch')
plt.show()

效果图：