batch-size 深度学习笔记

batch_size、epoch、iteration是深度学习中常见的几个超参数：

（1）batchsize：每批数据量的大小。DL通常用SGD的优化算法进行训练，也就是一次（1 个iteration）一起训练batchsize个样本，计算它们的平均损失函数值，来更新参数。

（2）iteration：1个iteration即迭代一次，也就是用batchsize个样本训练一次。

（3）epoch：1个epoch指用训练集中的全部样本训练一次，此时相当于batchsize 等于训练集的样本数。

最初训练DNN采用一次对全体训练集中的样本进行训练（即使用1个epoch），并计算一次损失函数值，来更新一次权值。当时数据集较小，该方法尚可。后来随着数据集迅速增大，导致这种方法一次开销大进而占用内存过大，速度过慢。

后来产生了一次只训练一个样本的方法（batchsize=1）,称作在线学习。该方法根据每一个样本的情况更新一次权值，开销小速度快，但收到单个样本的巨大随机性，全局来看优化性能较差，收敛速度很慢，产生局部震荡，有限迭代次数内很可能无法收敛。

目前常用随机梯度下降SGD来训练，相当于上述两个“极端”方法的折中：将训练集分成多个mini_batch（即常说的batch）,一次迭代训练一个minibatch（即batchsize个样本），根据该batch数据的loss更新权值。这相比于全数据集训练，相当于是在寻找最优时人为增加了一些随机噪声，来修正由局部数据得到的梯度，尽量避免因batchsize过大陷入局部最优。

这种方法存在两对矛盾。由于一次只分析的一小部分数据，因此整体优化效果与batchsize有关：

batchsize越小，一个batch中的随机性越大，越不易收敛。然而batchsize越小，速度越快，权值更新越频繁；且具有随机性，对于非凸损失函数来讲，更便于寻找全局最优。从这个角度看，收敛更快，更容易达到全局最优。

batchsize越大，越能够表征全体数据的特征，其确定的梯度下降方向越准确，（因此收敛越快），且迭代次数少，总体速度更快。然而大的batchsize相对来讲缺乏随机性，容易使梯度始终向单一方向下降，陷入局部最优；而且当batchsize增大到一定程度，再增大batchsize，一次batch产生的权值更新（即梯度下降方向）基本不变。因此理论上存在一个最合适的batchsize值，使得训练能够收敛最快或者收敛效果最好（全局最优点）。

根据现有的调参经验，加入正则化项BN后，在内存容量允许的情况下，一般来说设置一个较大的batchsize值更好，通常从128开始调整。

当然，包括超参数对网络优化的影响在内的许多关于的DL理论尚不成熟，大多处在依靠实验尝试、观察、归纳总结的阶段。 
 

关于深度学习中的batch_size

batch_size可以理解为批处理参数，它的极限值为训练集样本总数，当数据量比较少时，可以将batch_size值设置为全数据集（Full batch cearning）。
实际上，在深度学习中所涉及到的数据都是比较多的，一般都采用小批量数据处理原则。

小批量训练网络的优点：

• 相对海量的的数据集和内存容量，小批量处理需要更少的内存就可以训练网络。
• 通常小批量训练网络速度更快，例如我们将一个大样本分成11小样本(每个样本100个数据)，采用小批量训练网络时，每次传播后更新权重，就传播了11批，在每批次后我们均更新了网络的（权重）参数；如果在传播过程中使用了一个大样本，我们只会对训练网络的权重参数进行1次更新。
• 全数据集确定的方向能够更好地代表样本总体，从而能够更准确地朝着极值所在的方向；但是不同权值的梯度值差别较大，因此选取一个全局的学习率很困难。

小批量训练网络的缺点：

• 批次越小，梯度的估值就越不准确，在下图中，我们可以看到，与完整批次渐变（蓝色）方向相比，小批量渐变（绿色）的方向波动更大。
• 极端特例batch_size = 1，也成为在线学习（online learning）；线性神经元在均方误差代价函数的错误面是一个抛物面，横截面是椭圆，对于多层神经元、非线性网络，在局部依然近似是抛物面，使用online learning，每次修正方向以各自样本的梯度方向修正，这就造成了波动较大，难以达到收敛效果。

如下图所示
stochastic(红色)表示在线学习，batch_size = 1；

mini_batch(绿色)表示批梯度下降法，batch_size = 100；

batch(蓝色)表示全数据集梯度下降法，batch_size = 1100；

从图上可以发现，batch_szie=1 较 batch_size=100 的波动性更大。

设置mini_batch大小是一种艺术，太小时可能会使学习过于随机，虽然训练速率很快，但会收敛到不可靠的模型；mini_batch过小时，网络训练需要很长时间，更重要的是它不适合记忆。

如何选择合适的batch_size值：

• 采用批梯度下降法mini batch learning时，如果数据集足够充分，用一半（甚至少的多）的数据训练算出来的梯度与全数据集训练full batch learning出来的梯度几乎一样。

• 在合理的范围内，增大batch_size可以提高内存利用率，大矩阵乘法的并行化效率提高；跑完一次epoch（全数据集）所需的迭代次数减少，对于相同数据量的处理速度进一步加快；在适当的范围内，batch_size越大，其确定的下降方向越准，引起训练波动越小。注意，当batch_size增大到一定程度，其确定的下降方向基本不会变化。

• batch_size值增大到超过合理范围时，和全数据训练full batch learning就会表现出相近的症候；内存容量占有率增加，跑完一次epoch（全数据集）所需的迭代次数减少，达到相同的精度所耗损的时间增加，从而对参数的修正也就显得更加缓慢。

调节 Batch_Size 对训练效果影响到底如何？
这里跑一个 LeNet 在 MNIST 数据集上的效果。MNIST 是一个手写体标准库
运行结果如上图所示，其中绝对时间做了标准化处理。运行结果与上文分析相印证：

• batch_size 太小，算法在 200 epoches 内不收敛。
• 随着 batch_size 增大，处理相同数据量的速度越快。
• 随着 batch_size 增大，达到相同精度所需要的 epoch 数量越来越多。
• 由于上述两种因素的矛盾，batch_size 增大到某个时候，达到时间上的最优。
• 由于最终收敛精度会陷入不同的局部极值，因此batch_size 增大到某些时候，达到最终收敛精度上的最优。