机器学习 | Python随机梯度下降SGD

随机梯度下降（Stochastic Gradient Descent，简称SGD）是机器学习和深度学习中的一个重要优化算法。
SGD是一种用于训练机器学习模型的方法，特别是神经网络。
它的目标是找到使我们的模型在给定数据上表现得尽可能好的参数值。
想象一下，你要教一个机器学习模型来识别猫和狗的图片。初始时，模型并不知道如何识别猫和狗。SGD的任务就是通过不断调整模型参数，使它的预测结果更接近实际情况。
SGD的基本原理非常简单。它通过以下步骤进行工作：
初始化参数：首先，我们随机初始化模型的参数，就像开始时我们不知道任何关于猫和狗的信息。

选择一个样本：然后，从我们的数据集中随机选择一个样本（一张猫或狗的图片）。

计算梯度：用选定的样本来计算模型的梯度，这告诉我们如何调整参数以减小预测误差。

更新参数：接下来，我们使用梯度信息来微调参数，以使模型更好地预测选定的样本。

重复：然后，我们重复这个过程，不断选择不同的样本并更新参数，直到我们认为模型已经足够好地理解了数据。

详细的公式解释
SGD的核心数学公式如下：
θ’ = θ - α * ∇J(θ, xi, yi)
θ是模型的参数。
α是学习率，它决定了参数更新的步长。