01.浅谈深度学习中Batch_size的大小对模型训练的影响
Batch_size的作用:决定了下降的方向。在合理范围内增大Batch_size的好处:提高内存利用率以及大矩阵乘法的并行化效率;跑完一次epoch(全数据集)所需要的迭代次数减少,对相同的数据量,处理速度比小的Batch_size要更快;在一定范围内,一般来说Batch_size越大,其确定的下降方向越准,引起的训练震荡越小盲目增大Batch_size,Batch_size过大的坏处:提高了内存利用率,但内存容量可能撑不住;跑完一次epoch所需的迭代次数变小,但想要达到相同的
原创
2022-05-12 16:03:33 ·
11437 阅读 ·
0 评论