对随机梯度下降+mini-batch的理解

    随机梯度下降的每轮训练包含了多次迭代，每次迭代将训练数据随机分成M份，每次迭代选取一份进行训练，该份数据被称为mini-batch，mini-batch大小可在1 ~ N之间，若为1，则退化为在线学习，训练过程如下。

 

    那mini-bath为何会加速训练？这里我给出一个具有启发式的见解，不见的有理论支撑，但可能有助于理解。如下图

      假设我们的训练集只有4个猫的图片，其中不相同的图片只有1对，可能比较极端，但是实际的样本一定程度上也会存在这个问题，假设mini-batch大小为2，可能仅需要第2、3副图片便可完成对模型的训练，因为这两幅图足以反映整个数据集中样本的多样性和差异性，再通过微调学习率，可能仅利用50%的计算量便可使得模型收敛。

     在实际的工业级别的模型训练过程中，一轮训练耗时很多，将训练集分为多个mini-batch，通过有限的训练轮数，可能提早穷尽数据集的多样性，使得模型尽早收敛。