【优化方法GD、SGD、SAG介绍】

梯度下降（Gradient Descent，简称GD）、随机梯度下降（Stochastic Gradient Descent，简称SGD）和随机平均梯度（Stochastic Average Gradient，简称SAG）。

1. 梯度下降（Gradient Descent，GD）:
   梯度下降是一种基本的优化方法，用于最小化损失函数。它通过计算目标函数在当前参数点的梯度（导数）方向，并朝着梯度的反方向更新参数，从而逐步接近函数的极小值点。这个过程重复进行，直到达到满足预定收敛条件的程度。

# 伪代码示例
def gradient_descent(loss_function, initial_params, learning_rate, num_iterations):
    params = initial_params
    for i in range(num_iterations):
        gradients = compute_gradients(loss_function, params)
        params -= learning_rate * gradients
    return params

2. 随机梯度下降（Stochastic Gradient Descent，SGD）:
   SGD是梯度下降的一种变体，它在每次迭代时只随机选择一个样本来计算梯度，并根据该样本的梯度更新参数。相比GD，SGD更加高效，尤其在大数据集上表现出色。

# 伪代码示例
def stochastic_gradient_descent(loss_function, initial_params, learning_rate, num_iterations, batch_size):
    params = initial_params
    for i in range(num_iterations):
        batch = random_sample(batch_size)
        gradients = compute_gradients(loss_function, batch, params)
        params -= learning_rate * gradients
    return params

3. 随机平均梯度（Stochastic Average Gradient，SAG）:
   SAG是对SGD的改进，它在每次迭代时利用之前所有样本的梯度的平均值来更新参数，从而减少随机性带来的震荡，更稳定地收敛。

# 伪代码示例
def stochastic_average_gradient(loss_function, initial_params, learning_rate, num_iterations, batch_size):
    params = initial_params
    gradients_sum = zeros_like(params)
    for i in range(num_iterations):
        batch = random_sample(batch_size)
        gradients = compute_gradients(loss_function, batch, params)
        gradients_sum += gradients
        params -= learning_rate * gradients_sum / (i + 1)
    return params