Batch Size大小的选取:
- 可以一次将数据集中所有数据喂给网络
- 可以一次喂一个样本(即SGD)
- 每次喂一部分数据,喂多次
第一种:将参数一次更新数据集大小的数据量
第二种:将参数迭代更新数据集大小次
Q:选哪一种大小?
适当增加Batch Size大小的优点:
- 通过并行化提高内存利用率。
- 单次epoch的迭代次数减少,提高运行速度。(单次epoch=(全部训练样本/batchsize) / iteration =1)
- 适当的增加Batch_Size,梯度下降方向准确度增加,训练震动的幅度减小。