小批量梯度下降算法步骤_批量梯度下降(BGD)、随机梯度下降(SGD)以及小批量梯度下降(MBGD)的理解...

梯度下降法作为机器学习中较常使用的优化算法，其有着三种不同的形式：批量梯度下降(Batch Gradient Descent)、随机梯度下降(Stochastic Gradient Descent)以及小批量梯度下降(Mini-Batch Gradient Descent)。其中小批量梯度下降法也常用在深度学习中进行模型的训练。接下来，我们将对这三种不同的梯度下降法进行理解。

为了便于理解，这里我们将使用只含有一个特征的线性回归来展开。此时线性回归的假设函数为：

\[h_{\theta} (x^{(i)})=\theta_1 x^{(i)}+\theta_0

\]

其中 $ i=1,2,...,m $ 表示样本数。

对应的目标函数(代价函数)即为：

\[J(\theta_0, \theta_1) = \frac{1}{2m} \sum_{i=1}^{m}(h_{\theta}(x^{(i)}) - y^{(i)})^2

\]

下图为 $ J(\theta_0,\theta_1) $ 与参数 $ \theta_0,\theta_1 $ 的关系的图：

1、批量梯度下降(Batch Gradient Descent，BGD)

批量梯度下降法是最原始的形式，它是指在每一次迭代时使用所有样本来进行梯度的更新。从数学上理解如下：

(1)对目标函数求偏导：

\[\frac{\Delta J(\theta_0,\theta_1)}{\Delta \theta_j} = \frac{1}{m} \sum_{i=1}^{m} (h_{\theta}(x^{(i)})-y^{(i)})x_j^{(i)}