【刘二大人PyTorch深度学习实践】Lecture_03_Gradient Descent随手笔记

Optimization Problem

转化为最优化问题：找到使得代价函数最小值的最优w

方法：梯度下降法

Gradient Descent Algorithm

导数大于0，函数递增，目的是向左靠：w减去导数（大于零）的数，向左（中间）靠，cost减小

导数小于0，函数递减，目的是向右靠：w减去导数（小于零）的数，等于加上大于零的数，向右（中间）靠，cost减小

所以如果要下降，就得取导数的负方向。负的导数的方向就是最小值的方向。
梯度下降算法其实也算是贪心算法，因此找到的是局部最优点。

贪心算法

贪心算法是一种在每一步选择中都采取在当前状态下最好或最优的选择，从而希望导致结果是最好或最优的算法。贪心算法的步骤可以总结为以下几点:

1. 问题建模：将原始问题抽象成一个数学模型，明确定义问题的目标函数。
2. 局部最优选择：在每一步选择当前状态下的最佳解决方案，通常是局部最优的。
3. 解决冲突：处理不同步骤之间可能出现的选择冲突。
4. 迭代：重复步骤2和3，直到满足问题的结束条件。贪心算法在有最优子结构的问题中尤为有效1。

代码

导数据，设初值

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]

w = 1.0
learning_rate = 0.01

定义模型、cost、梯度。

def forward(x, w):
    return x * w

def cost_fuction(xs, ys, w):
    cost = 0
    for x, y in zip(xs, ys):
        y_pred = forward(x, w)
        cost += (y_pred - y) ** 2
    return cost / len(xs)

def gradient(xs, ys, w):
    grad = 0
    for x, y in zip(xs, ys):
        grad += 2 * x * (x * w - y)
    return grad / len(xs)

print('predict (before training)', 4, forward(4, w))

准备epoch、cost的list，循环100个epoch，对每一个样本，计算cost，grad，更新w，打印必要信息，并把epoch、cost值添加到list中

epoch_list = []
cost_val_list = []

for epoch in range(100):
    cost_val = cost_fuction(x_data, y_data, w)
    grad_val = gradient(x_data, y_data, w)
    w -= learning_rate * grad_val
    print('Epoch: ', epoch, 'w=', w, 'loss=', cost_val)
    epoch_list.append(epoch)
    cost_val_list.append(cost_val)
print('predict (after training)', 4, forward(4, w))

画图

plt.plot(epoch_list, cost_val_list)
plt.xlabel('epoch')
plt.ylabel('cost val')
plt.show()

详解梯度下降、随机梯度下降、小批量随机梯度下降

区别

随机梯度下降代码

import matplotlib.pyplot as plt

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]

w = 1.0
learning_rate = 0.01

def forward(x, w):
    return x * w

def loss(x, y, w):
    y_pred = forward(x, w)
    loss = (y - y_pred) ** 2
    return loss

def gradient(x, y, w):
    return 2 * x * (x * w - y)

print('predict (before training)', 4, forward(4, w))

epoch_list = []
loss_list = []

for epoch in range(100):
    for x, y in zip(x_data, y_data):
        # 拿到一个样本就更新了
        grad = gradient(x, y, w)
        w = w - learning_rate * grad
        print('\tgrad: ', x, y, grad)
        l = loss(x, y, w)
    print('process: ', epoch, "w=", w, 'loss=', l)
    epoch_list.append(epoch)
    loss_list.append(l)
print('predict (after training)', 4, forward(4, w))

plt.plot(epoch_list, loss_list)
plt.xlabel('epoch')
plt.ylabel('loss')
plt.show()