Batchsize Size对神经网络训练的影响

原文

关于神经网络训练过程中的超参数之一 ------ Batch Size 的调整。让我们一起探讨其对模型性能的影响；它从哪些方面对模型性能产生了影响，有什么样的影响；这些影响是否可以通过一些方法去消除或者减弱。

1. Batch Size的定义
2. Batch Size的重要性
3. 小批量和大批量在模型训练时如何进行有效选择
4. 大批量性能差的原因分析，性能差距的缩小

思考

1. 保持其余超参数不变，仅改变 Batchsize 一个超参数能够看到其产生的对模型的不同的影响。不过！ 训练到最后的模型的性能不是仅跟这一个参数相关，而是与各个超参数以及各种条件相关，是各个超参数组合的结果。所以，仅关注某一个超参数的最优情况并不能更好地训练出更优的模型，而是整体把握所有超参数的组合，以达到整体最优。
2. Batch Size 与 学习率的组合使用，两者间的最优匹配可以提高模型性能。

本文为：超参数 Batch Size 的理解和思考

仅作学习分享