关于SGD随机梯度下降的batch_size参数

随机梯度下降优化模型时的batch size

今天在训练SSD模型的时候，报错，查询显示为GPU显存不足，考虑为batch size过大造成的（这里设置为64），更改为32解决问题。

然后查询了一些资料，整理关于batch_size的一些内容：
batch size指小批量梯度下降算法中，设置的一次载入内存进行批梯度计算的样本数量，一般在gpu进行计算时，设置为2的幂数时可以获得更少的运行时间。

1）、更大的批量会计算更精确的梯度估计，因为每次参数更新用到的数据越多，越能代表整体损失函数的梯度（方向+位移）；

2）、极小批量通常难以充分利用多核架构，低于某个值的小批量处理并不会减少计算时间，小批量在一次批量计算的过程中的计算开销小，但无法充分利用gpu的多核架构，并不会减小时间开销；

3）、批处理中的所有样本在gpu显存中并行处理，内存消耗和批量大小成正比，通常限制batch size大小的是硬件；

4）、GPU通常用2的幂数作为batch获得更少的运行时间；

5）、小批量学习中加入噪声，会有一些正则化效果，但小批量通常需要较小的学习率以保持稳定性，因而需要多步遍历数据，导致运行时间变长。

补充：
关于SGD随机梯度下降算法的收敛问题，认为限制收敛的一般不是局部极小值，陷入局部极小已经是比较好的情况了。大部分出现问题是陷入了山谷型区域和鞍点。

改进的优化算法：
1）添加momentum动量；
2）AdaGrad；
3）Adam；
4）Nesterov Accelerated Gradient（扩展了动量的方法）；
5）AdaDelta（针对AdaGrad方法改进）；
6）RMSProp（针对AdaGrad方法改进）；
7）AdaMax（Adam的一个变种方法）；
8）Nadam；