梯度下降法(Gradient Descent)优化函数的详解（3）小批量随机梯度下降法（mini-batch SGD ）

• 前言
• 梯度下降法(Gradient Descent)优化函数的详解（0）线性回归问题
• 梯度下降法(Gradient Descent)优化函数的详解（1）批量梯度下降法（Batch Gradient Descent）
• 梯度下降法(Gradient Descent)优化函数的详解（2）随机梯度下降法（SGD Stochastic Gradient Descent）
• 梯度下降法(Gradient Descent)优化函数的详解（3）小批量随机梯度下降法（mini-batch SGD ）
• 几种算法的比较

小批量随机梯度下降法（mini-batch SGD ）

SGD相对来说要快很多，但是也有存在问题，由于单个样本的训练可能会带来很多噪声，使得SGD并不是每次迭代都向着整体最优化方向，因此在刚开始训练时可能收敛得很快，但是训练一段时间后就会变得很慢。在此基础上又提出了小批量梯度下降法，它是每次从样本中随机抽取一小批进行训练，而不是一组。

主要思想

其主要思想就是每次只拿总训练集的一小部分来训练，比如一共有5000个样本，每次拿100个样本来计算loss，更新参数。50次后完成整个样本集的训练，为一轮（epoch）。由于每次更新用了多个样本来计算loss，就使得loss的计算和参数的更新更加具有代表性。不像原始SGD很容易被某一个样本给带偏 。loss的下降更加稳定，同时小批量的计算，也减少了计算资源的占用。

公式推导

每一次迭代按照一定的学习率α沿梯度的反方向更新参数，直至收敛，公式
$${\theta }_{t+1}={\theta }_t-\alpha \frac{df}{d\theta }$$
接下来我们回到房价预测问题上。

这是mini-batch 梯度下降法, k表示每一个batch的总样本数：
step1：
$$y_{p,i}=a{x}_i+blos{s}_{batch}=\frac{1}{2m}\sum _{i=1}^m(y_{p,i}-y_i{)}^2$$

step2：要优化的参数有两个，分别是a和b，我们分别对他们求微分，也就是偏微分
$$\frac{\partial los{s}_{batch}}{\partial a}=\frac{1}{k}\sum _{i=1}^k(a{x}_i+b-y_i)x_i\frac{\partial los{s}_{batch}}{\partial b}=\frac{1}{k}\sum _{i=1}^k(a{x}_i+b-y_i)$$

step3：$\frac{\partial loss}{\partial a}$记为$▽a$，$\frac{\partial loss}{\partial b}$记为$▽b$，分别表示loss在a、b方向的梯度，更新参数的方式如下
$$a_{new}=a-\alpha ▽a{b}_{new}=b-\alpha ▽b$$

算法实现

下面是 mini-batch SGD方法的训练结果

由于我的训练样本比较少，所以选择了比较大的学习率来体现效果。mini-batch SGD中，每次选择3个样本作为一个batch进行训练。容易看出，波动的减小还是比较明显。同时收敛的速度也是大大加快，几乎一步就走到了合适的参数范围。

小批量随机梯度下降伪代码

输入参数：rate，$\overrightarrow{x}$，$\overrightarrow{y}$，scope
============> rate为设定的学习率
============> $\overrightarrow{x}$为给定的模拟数据
============> x取值范围
============> scope 训练次数
输出参数：a，b，loss
1）：初始化a，b
2）：for i in len(x)
A：更新x的值： x[i] = (x[i] - x_min)/(x_max - x_min)
B：更新y的值： y[i] = (y[i] - y_min)/(y_max - y_min)
3）：for step in scope
\qquad A：随机打乱x，y的数据，并且保持x和y一一对应：shuffle_data(x,y)
\qquad B：将x分为group组，每组x_new=x/group个样本
\qquad C：for i in len(x_new)
\qquad \qquad A：累加all_da的值：all_da = all_da +da(y_new[i],y_p,x_new[i])
\qquad \qquad B：累加all_db的值：all_db = all_db_db(y_new[i],y_p,x_new[i])
\qquad D：更新a旳值：a = a - rate × all_da
\qquad E：更新b旳值：b = b - rate × all_db
4）end
由于mini-batch SGD 比 SGD 效果好很多，所以人们一般说SGD都指的是 mini-batch gradient descent. 大家不要和原始的SGD混淆。现在基本所有的大规模深度学习训练都是分为小batch进行训练的。

总结：
batcha_size的选择带来的影响：
（1）在合理地范围内，增大batch_size的好处：
   a. 内存利用率提高了，大矩阵乘法的并行化效率提高。
   b. 跑完一次 epoch（全数据集）所需的迭代次数减少，对于相同数据量的处理速度进一步加快。
   c. 在一定范围内，一般来说 Batch_Size 越大，其确定的下降方向越准，引起训练震荡越小。
（2）盲目增大batch_size的坏处：
   a. 内存利用率提高了，但是内存容量可能撑不住了。
   b. 跑完一次 epoch（全数据集）所需的迭代次数减少，要想达到相同的精度，其所花费的时间大大增加了，从而对参数的修正也就显得更加缓慢。
   c. Batch_Size 增大到一定程度，其确定的下降方向已经基本不再变化。

代码实现：https://github.com/admin110/s0/blob/master/MSGD.py

几种算法的比较

为了便于理解，这里我们将使用只含有一个特征的线性回归来展开。此时线性回归的假设函数为：
$$y(x^{(i)})=y_{\theta }(x^{(i)})={\theta }_0+{\theta }_1{x}^{(i)}={\theta }_{T}X$$
这里我们使用了偏置项 $x_0^{(i)}=1$ 。

1. 批量梯度下降（Batch Gradient Descent，BGD）

批量梯度下降法是最原始的形式，它是指在每一次迭代时使用所有样本来进行梯度的更新。从数学上理解如下：
对应的目标函数（代价函数）为：
$$loss=J(\theta )=\frac{1}{2m}\sum _{i=1}^m(y_{\theta }(x^{(i)})-y^{(i)}{)}^2$$
（1）对目标函数求偏导：
$$\frac{\partial los{s}^{(i)}}{\partial {\theta }_j}=\frac{1}{m}\sum _{i=1}^m(y_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$
其中 i=1,2,…,m 表示样本数， j=0,1 表示特征数
（2）每次迭代对参数进行更新：
$${\theta }_j\leftarrow {\theta }_j-\alpha \sum _{i=1}^m(y_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$
注意这里更新时存在一个求和函数，即为对所有样本进行计算处理，可与下文SGD法进行比较。

2. 随机梯度下降（Stochastic Gradient Descent，SGD）

随机梯度下降法不同于批量梯度下降，随机梯度下降是每次迭代使用一个样本来对参数进行更新。使得训练速度加快。
对于一个样本的目标函数为：
对应的目标函数（代价函数）即为：
$$loss=J(\theta )=\frac{1}{2}(y_{\theta }(x^{(i)})-y^{(i)}{)}^2$$
（1）对目标函数求偏导：
$$\frac{\partial los{s}^{(i)}}{\partial {\theta }_j}=(y_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$
（2）每次迭代对参数进行更新：
$${\theta }_j\leftarrow {\theta }_j-\alpha (y_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$
注意，这里不再有求和符号
解释一下为什么SGD收敛速度比BGD要快：
  答：这里我们假设有30W个样本，对于BGD而言，每次迭代需要计算30W个样本才能对参数进行一次更新，需要求得最小值可能需要多次迭代（假设这里是10）；而对于SGD，每次更新参数只需要一个样本，因此若使用这30W个样本进行参数更新，则参数会被更新（迭代）30W次，而这期间，SGD就能保证能够收敛到一个合适的最小值上了。也就是说，在收敛时，BGD计算了 10×30W 次，而SGD只计算了 1×30W 次。

3. 小批量梯度下降（Mini-Batch Gradient Descent, MBGD）

小批量梯度下降，是对批量梯度下降以及随机梯度下降的一个折中办法。其思想是：每次迭代 使用 b = batch_size 个样本来对参数进行更新。
对应的目标函数（代价函数）为：
$$loss=J(\theta )=\frac{1}{2b}\sum _{i=1}^b(y_{\theta }(x^{(i)})-y^{(i)}{)}^2$$
（1）对目标函数求偏导：
$$\frac{\partial los{s}^{(i)}}{\partial {\theta }_j}=\frac{1}{b}\sum _{i=1}^b(y_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$

（2）每次迭代对参数进行更新：
$${\theta }_j\leftarrow {\theta }_j-\alpha \sum _{i=1}^b(y_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$

对比图如下：

-	BGD	SGD	MSGD
伪代码	repeat{              $${\theta }_j={\theta }_j-\alpha \sum _{i=1}^m(y_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$}	repeat{              for i=1,…,m{    $${\theta }_j={\theta }_j-\alpha (y_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$}         }	repeat{              for i=1,…,b{    $${\theta }_j={\theta }_j-\alpha \sum _{i=1}^b\alpha (y_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$}         }
优点	（1）一次迭代是对所有样本进行计算，此时利用矩阵进行操作，实现了并行。 （2）由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。当目标函数为凸函数时，BGD一定能够得到全局最优。	（1）由于不是在全部训练数据上的损失函数，而是在每轮迭代中，随机优化某一条训练数据上的损失函数，这样每一轮参数的更新速度大大加快。	（1）通过矩阵运算，每次在一个batch上优化神经网络参数并不会比单个数据慢太多。 （2）每次使用一个batch可以大大减小收敛所需要的迭代次数，同时可以使收敛到的结果更加接近梯度下降的效果。 （3）可实现并行化。
缺点	（1）当样本数目 m 很大时，每迭代一步都需要对所有样本计算，训练过程会很慢。	（1）准确度下降。由于即使在目标函数为强凸函数的情况下，SGD仍旧无法做到线性收敛。 （2）可能会收敛到局部最优，由于单个样本并不能代表全体样本的趋势. （3）不易于并行实现。	（1）batch_size的不当选择可能会带来一些问题。

好了，梯度算法到这就告一段落了。

上一篇：[梯度下降法(Gradient Descent)优化函数的详解（2）随机梯度下降法（SGD Stochastic Gradient Descent）]
(https://blog.csdn.net/qq_25628891/article/details/83245184)