【4.4 深度学习中的SGD】

4.4 深度学习中的SGD

深度学习中的SGD（Stochastic Gradient Descent，随机梯度下降）是一种优化算法，用于迭代地更新模型的参数，以最小化损失函数。与标准的梯度下降算法不同，SGD不是一次性计算整个训练集上的梯度，而是每次迭代时仅随机选择一个样本（或一小批样本，称为mini-batch）来计算梯度，并据此更新参数。这种方法大大减少了每次迭代所需的计算量，使得SGD在大数据集上更加高效。

SGD的优点

1. 计算效率高：由于每次迭代只处理一个或一小批样本，SGD的计算速度通常比全批量梯度下降快得多。
2. 有助于跳出局部最优解：由于每次迭代的梯度估计都是基于随机选择的样本，因此SGD的更新路径更加“嘈杂”，这有助于模型跳出局部最优解，找到更好的全局最优解（或至少是更好的局部最优解）。

SGD的缺点

1. 梯度估计的噪声：由于SGD的梯度估计基于随机样本，因此其梯度估计可能包含较大的噪声，这可能导致收敛过程更加曲折。
2. 学习率的选择：SGD的性能对学习率的选择非常敏感。如果学习率太小，则收敛速度可能非常慢；如果学习率太大，则可能导致收敛不稳定甚至发散。

代码举例

下面是一个使用SGD算法优化简单线性回归模型参数的Python代码示例（使用NumPy库）。请注意，这个示例仅用于说明SGD的基本原理，并不涉及深度学习框架。

import numpy as np

# 假设的数据集
X = 2 * np.random.rand(100, 1)
y = 4 + 3 * X + np.random.randn(100, 1)

# 初始化参数
m, n = X.shape
w = np.zeros((n, 1))  # 权重
b = 0  # 偏置

# 学习率
learning_rate = 0.01

# SGD迭代次数
epochs = 100

# 损失函数（均方误差）
def compute_loss(X, y, w, b):
    y_pred = np.dot(X, w) + b
    return 0.5 * np.mean((y_pred - y) ** 2)

# SGD更新规则
for epoch in range(epochs):
    # 随机选择一个样本（在实际应用中，通常会使用mini-batch）
    i = np.random.randint(m)
    xi = X[i:i+1]
    yi = y[i:i+1]
    
    # 计算梯度
    gradients_w = np.dot(xi.T, (np.dot(xi, w) + b - yi))
    gradients_b = (np.dot(xi, w) + b - yi)
    
    # 更新参数
    w -= learning_rate * gradients_w
    b -= learning_rate * gradients_b
    
    # （可选）打印损失以监控训练过程
    if (epoch+1) % 10 == 0:
        loss = compute_loss(X, y, w, b)
        print(f'Epoch {epoch+1}, Loss: {loss:.4f}')

# 输出最终参数
print(f'Final weights: {w}, bias: {b}')

注意：上面的代码示例为了简化而使用了单个样本进行SGD更新。在实际应用中，为了提高效率和稳定性，通常会使用mini-batch SGD，即每次迭代时随机选择一小批样本（而不是单个样本）来计算梯度并更新参数。此外，深度学习框架（如TensorFlow和PyTorch）提供了内置的SGD优化器，可以自动处理这些计算。