随机梯度下降（Stochastic Gradient Descent，SGD）

随机梯度下降（Stochastic Gradient Descent，SGD）是一种优化算法，用于最小化目标函数，尤其适用于大规模数据集。与批量梯度下降（Batch Gradient Descent）不同，SGD每次迭代只使用一个样本来计算梯度。这样可以减少计算开销，加速优化过程，同时也引入了随机性，有助于跳出局部最优。

以下是使用Python实现线性回归中的随机梯度下降法的简单示例代码：

import numpy as np

def sgd(X, y, learning_rate, max_iter, batch_size=1, tol=1e-6)