深度学习中的batch size 以及learning rate参数理解

batch size 参数

https://www.zhihu.com/question/32673260

在合理范围内，增大 Batch_Size 有何好处？

• 内存利用率提高了，大矩阵乘法的并行化效率提高
• 跑完一次epoch（全数据集）所需要的迭代次数减小，对于相同数据量的处理速度进一步加快
• 在一定范围内，一般来说batch size越大，其确定的下降方向越准，引起的训练震荡越小

盲目增大batch size 有什么坏处

• 内存利用率提高了，但是内存容量可能撑不住了
• 跑完一次epoch（全数据集）所需要的迭代次数减少，但是想要达到相同的精度，其所花费的时间大大增加了，从而对参数的修正也就显得更加缓慢
• batch size 大到一定的程度，其确定的下降方向已经基本不再变化

---

fine tuning

http:/