使用Numpy手工模拟梯度下降算法

代码

import numpy as np 

# Compute every step manually

# Linear regression
# f = w * x 

# here : f = 2 * x
X = np.array([1, 2, 3, 4], dtype=np.float32)
Y = np.array([2, 4, 6, 8], dtype=np.float32)

w = 0.0

# model output
def forward(x):
    return w * x

# loss = MSE
def loss(y, y_pred):
    return ((y_pred - y)**2).mean()

# J = MSE = 1/N * (w*x - y)**2
# dJ/dw = 1/N * 2x(w*x - y)
def gradient(x, y, y_pred):
    return np.mean(2*x*(y_pred - y))

print(f'Prediction before training: f(5) = {forward(5):.3f}')

# Training
learning_rate = 0.01
n_iters = 20

for epoch in range(n_iters):
    # predict = forward pass
    y_pred = forward(X)

    # loss
    l = loss(Y, y_pred)
    
    # calculate gradients
    dw = gradient(X, Y, y_pred)

    # update weights
    w -= learning_rate * dw

    if epoch % 2 == 0:
        print(f'epoch {epoch+1}: w = {w:.3f}, loss = {l:.8f}')
     
print(f'Prediction after training: f(5) = {forward(5):.3f}')

输出

Prediction before training: f(5) = 0.000
epoch 1: w = 0.300, loss = 30.00000000
epoch 3: w = 0.772, loss = 15.66018677
epoch 5: w = 1.113, loss = 8.17471600
epoch 7: w = 1.359, loss = 4.26725292
epoch 9: w = 1.537, loss = 2.22753215
epoch 11: w = 1.665, loss = 1.16278565
epoch 13: w = 1.758, loss = 0.60698175
epoch 15: w = 1.825, loss = 0.31684822
epoch 17: w = 1.874, loss = 0.16539653
epoch 19: w = 1.909, loss = 0.08633806
Prediction after training: f(5) = 9.612

代码步骤详细解释

让我们通过一步一步地代入具体值来解释为什么在给定的线性回归示例中，权重 $w$ 逐渐接近真实值，并且损失函数的值持续减小。这个过程展示了梯度下降法如何通过逐步迭代更新模型的权重 $w$ 来最小化损失函数。

初始设置

• 真实函数为 $f(x)=2x$，我们的目标是通过学习找到这个关系。
• 初始权重 $w=0.0$。
• 学习率 $\alpha =0.01$。
• 输入 $X=[1,2,3,4]$，对应的真实输出 $Y=[2,4,6,8]$。

第一次迭代

1. 前向传播：使用初始权重 $w=0.0$ 进行预测，
   $$y_{\text{pred}}=w\times X=0\times X=[0,0,0,0]$$

2. 计算损失（MSE）：损失函数为 $J=\text{MSE}=\frac{1}{N}\sum (y_{\text{pred}}-Y{)}^2$，
   $$\text{MSE}=\frac{1}{4}\left((0-2{)}^2+(0-4{)}^2+(0-6{)}^2+(0-8{)}^2\right)=30$$

3. 计算梯度：梯度 $\frac{dJ}{dw}=\frac{1}{N}\sum 2x(w\times x-y)$，
   $$\frac{dJ}{dw}=\frac{1}{4}\sum 2X(0\times X-Y)=\frac{1}{4}\sum 2X(-Y)$$
   $$\frac{dJ}{dw}=\frac{1}{4}\times 2\times ((1\times -2)+(2\times -4)+(3\times -6)+(4\times -8))=-30$$

4. 更新权重：$w=w-\alpha \frac{dJ}{dw}$，
   $$w=0.0-0.01\times (-30)=0.3$$

这个过程解释了第一次迭代后为什么 $w$ 更新为 0.3 并且损失减少到 30。梯度 $\frac{dJ}{dw}=-30$ 指示了 $w$ 需要增加来减少损失。

推导梯度

对于给定的输入 $X$ 和输出 $Y$，梯度的计算可以展开为：
$$\frac{dJ}{dw}=\frac{1}{N}\sum 2x(w\times x-y)$$

代入第一次迭代的值，
$$\frac{dJ}{dw}=\frac{1}{4}\times 2\times [1\times (0\times 1-2)+2\times (0\times 2-4)+3\times (0\times 3-6)+4\times (0\times 4-8)]$$
$$=\frac{1}{4}\times 2\times [-2-8-18-32]=-30$$

让我们通过代入具体值来详细展示线性回归示例中第二次迭代的推导过程。

第二次迭代的起点

• 初始权重（从第一次迭代更新后）: $w=0.3$
• 学习率: $\alpha =0.01$
• 输入: $X=[1,2,3,4]$
• 真实输出: $Y=[2,4,6,8]$

前向传播

计算预测值 $y_{\text{pred}}$：
$$y_{\text{pred}}=w\times X=0.3\times [1,2,3,4]=[0.3,0.6,0.9,1.2]$$

损失计算（MSE）

$$L=\frac{1}{N}\sum _{i=1}^N(y_{\text{pred},i}-Y_i{)}^2$$
$$L=\frac{1}{4}\left((0.3-2{)}^2+(0.6-4{)}^2+(0.9-6{)}^2+(1.2-8{)}^2\right)$$
$$L=\frac{1}{4}\left(2.89+11.56+26.01+46.24\right)$$
$$L=\frac{1}{4}\times 86.7=21.675$$

梯度计算

$$\frac{dL}{dw}=\frac{1}{N}\sum _{i=1}^{N}2x_i(w{x}_i-Y_i)$$
$$\frac{dL}{dw}=\frac{1}{4}\times 2\times [1\times (0.3\times 1-2)+2\times (0.3\times 2-4)+3\times (0.3\times 3-6)+4\times (0.3\times 4-8)]$$
$$\frac{dL}{dw}=\frac{1}{4}\times 2\times [(-1.7)+(-7.4)+(-16.1)+(-28.8)]$$
$$\frac{dL}{dw}=\frac{1}{4}\times 2\times [-53.999]=-27.0$$

更新权重

使用梯度下降法更新 $w$：
$$w=w-\alpha \times \frac{dL}{dw}$$
$$w=0.3-0.01\times (-25.5)=0.3+0.255=0.555$$

这一系列计算表明，在第二次迭代中，通过计算损失和梯度，并根据这个梯度更新权重，权重 $w$ 从 0.3 更新到了 0.555。这一过程逐步将模型从初步猜测调整为更接近真实模型 $f(x)=2x$ 的参数，损失从 $21.675$ 减少，显示了模型准确度的提高。

总结

通过不断重复这个过程（前向传播、损失计算、梯度计算、权重更新），$w$ 逐步被调整，以最小化模型的总损失。每次迭代，梯度告诉我们如何调整 $w$ 以减少损失，学习率 $\alpha$ 控制了这个调整的步长。随着迭代的进行，模型预测 $y_{\text{pred}}$ 会逐渐接近真实值 $Y$，损失函数值会持续减小，直至收敛到最小值或达到学习的终止条件。

为什么梯度方向表明了减少损失的方向？

第一轮迭代中，梯度 $\frac{dJ}{dw}=-30$ 指出了权重 $w$ 需要增加以减少损失。这是因为在梯度下降法中，我们通过从当前权重中减去梯度乘以学习率（一个小的正数）来更新权重。如果梯度为负（如此例中的 $-30$），减去一个负数相当于向正方向（增加）调整权重。

在梯度下降法中，梯度 $\frac{dJ}{dw}$ 描述了损失函数 $J$ 关于权重 $w$ 的变化率。如果梯度为负，这意味着增加 $w$ 可以减少损失 $J$；如果梯度为正，减少 $w$ 可以减少损失。

具体来说：

• 梯度为负（$\frac{dJ}{dw}<0$）：这意味着增加权重 $w$ （向梯度的反方向移动）会导致损失 $J$ 减小。因此，为了减少损失，我们需要增加 $w$。
• 权重更新公式（$w=w-\alpha \frac{dJ}{dw}$）中，当 $\frac{dJ}{dw}$ 为负时，$w$ 的更新实际上会增加 $w$ 的值。

在我们的例子中，通过这种方式更新 $w$（从 $0.0$ 更新到 $0.3$），正是因为我们沿着减少损失的方向调整了 $w$，使得模型的预测与真实值之间的差异减小了，进而损失函数值减少。这个过程在多次迭代后，逐渐使模型更加准确，最终找到一个能够最小化损失函数的 $w$ 值。