梯度下降优化算法综述

梯度下降是一种常用的优化算法，用于最小化目标函数。它通过迭代地更新模型参数，以找到使目标函数取得最小值的方向。在实际应用中，存在多种梯度下降的变体算法，本文将对其中几种常见的优化算法进行综述，并提供相应的源代码。

1. 批量梯度下降（Batch Gradient Descent）
   批量梯度下降是梯度下降算法的最基础形式。它每次迭代时使用整个训练集的数据计算梯度，并根据梯度的方向进行参数更新。该方法的优点是可以得到全局最优解，但也因为使用全部数据计算梯度，计算代价较高。

# Batch Gradient Descent
def batch_gradient_descent(X, y, learning_rate, num_iterations):
    m = len(y) # 样本数
    theta = np.zeros(X.shape[1]) # 参数初始化
    
    for _ in range(num_iterations):
        gradients = np.dot(X.T, (np.dot(X, theta)-y)) / m # 计算梯度
        theta = theta - learning_rate * gradients # 更新参数
        
    return theta

2. 随机梯度下降（Stochastic Gradient Descent）
   随机梯度下降每次迭代时仅使用一个样本来计算梯度，并进行参数更新。相比批量梯度下降，它的计算代价较低，但在目标函数存在噪声时，收敛速度较慢且不稳定。

# Stochastic Gradient Descent
def stochastic_gradient_descent(X, y, learning_rate,