PyTorch深度学习实践L3——梯度下降算法

1、梯度下降法

深度学习算法中，并没有过多的局部最优点，且局部最优的问题很好解决。
梯度下降要用到上一个w，但是每个点的梯度是固定的，所以梯度的计算可以并行。
效率较高（时间复杂度较低），学习性能较差。

import matplotlib.pyplot as plt

# prepare the training set
x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]

# initial guess of weight
w = 1.0

# define the model linear model y = w*x
def forward(x):
    return x * w

# define the cost function MSE
def cost(xs, ys):
    cost = 0
    for x, y in zip(xs, ys):
        y_pred = forward(x)
        cost += (y_pred - y) ** 2
    return cost / len(xs)

# define the gradient function  gd
def gradient(xs, ys):
    grad = 0
    for x, y in zip(xs, ys):
        grad += 2 * x * (x * w - y)
    return grad / len(xs)

epoch_list = []
cost_list = []
print('predict (before training)', 4, forward(4))
for epoch in range(100):
    cost_val = cost(x_data, y_data)
    grad_val = gradient(x_data, y_data)
    w -= 0.01 * grad_val  # 0.01 learning rate
    print('epoch:', epoch, 'w=', w, 'loss=', cost_val)
    epoch_list.append(epoch)
    cost_list.append(cost_val)

print('predict (after training)', 4, forward(4))
plt.plot(epoch_list, cost_list)
plt.ylabel('cost')
plt.xlabel('epoch')
plt.show()

2、随机梯度下降法

梯度下降法———N个里面随机选一个————>随机梯度下降
==>即使陷入鞍点，随机噪声可能会把我们向前推动

随机梯度下降也要用到上一个w，但是每个点的梯度是随机的，所以梯度的计算不可以并行。
随机梯度下降也不是完全不可以，只要保证更新w的时候线程安全即可。
随机梯度下降法在神经网络中被证明是有效的。效率较低（时间复杂度较高），学习性能较好。

import matplotlib.pyplot as plt

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]

w = 1.0

def forward(x):
    return x * w

# calculate loss function
def loss(x, y):
    y_pred = forward(x)
    return (y_pred - y) ** 2

# define the gradient function  sgd
def gradient(x, y):
    return 2 * x * (x * w - y)

epoch_list = []
loss_list = []
print('predict (before training)', 4, forward(4))
for epoch in range(100):
    for x, y in zip(x_data, y_data):
        grad = gradient(x, y)
        w = w - 0.01 * grad  # update weight by every grad of sample of training set
        print("\tgrad:", x, y, grad)
        l = loss(x, y)
    print("progress:", epoch, "w=", w, "loss=", l)
    epoch_list.append(epoch)
    loss_list.append(l)

print('predict (after training)', 4, forward(4))
plt.plot(epoch_list, loss_list)
plt.ylabel('loss')
plt.xlabel('epoch')
plt.show()

梯度下降法效率较高（时间复杂度较低），学习性能较差；随机梯度下降法效率较低（时间复杂度较高），学习性能较好。所以引入batch（mini batch），将随机梯度下降的样本分为小批量的、一组一组的。