batchsize大小对训练速度的影响

1.batchsize越大 是不是训练越快？

GPU :一块2080Ti
平台：pytorch cuda
图片数量：2700

batchsize	一个图片处理时间	GPU内存占用	GPU算力使用	一个epoch 所用时间
1	0.117s	2.5G	20%	2700 * 0.0117 = 318s
5	0.516s	8G	90%	2700 * 0.516/5 = 279s

batchsize大了之后，占用的资源多了，算力多了，但是速度没有提升，这样是不是太坑了。
我们其实可以把 batchsize设置小点，然后把剩余的内存跑其他实验，而且再在同一张卡上跑一个新的实验，对之前的速度也没有影响。

结论：
1.本人实验 batchsize越大，训练速度提升不大
2.bachsize小点，多跑几个实验真香

完成每个epoch运算的所需的全部时间主要卡在：

1. load数据的时间，
2. 每个epoch的iter数量。
3. 因此对于每个epoch，不管是纯计算时间还是全部时间，大体上还是大batch能够更节约时间一点，但随着batch增大，iter次数减小，完成每个epoch的时间更取决于加载数据所需的时间，此时也不见得大batch能带来多少的速度增益了。

2.batchsize大了，是不是结果会变好？

收集资料发现，确实是这样的，但是也不能太大了

1. Batch_Size 太小，算法在 200 epoches 内不收敛。
2. 随着 Batch_Size 增大，处理相同数据量的速度越快。
3. 随着 Batch_Size 增大，达到相同精度所需要的 epoch 数量越来越多。
4. 由于上述两种因素的矛盾， Batch_Size增大到某个时候，达到时间上的最优。
5. 由于最终收敛精度会陷入不同的局部极值，因此 Batch_Size增大到某些时候，达到最终收敛精度上的最优。