本文探讨了在TensorFlow1.4版本下，RNN中Batch-size的增减对模型训练的影响。增大Batch-size可以提高内存利用率和矩阵乘法效率，但可能导致内存不足，并增加达到相同精度所需的时间。过大的Batch-size可能会导致下降方向稳定，减慢参数修正。测试表明，Batch-size的选择对收敛速度有显著影响，特别是在初始阶段，随机选取的批处理数据会影响梯度方向。
这篇笔记是基于tensorflow1.4版本，小白级别。代码是在网上下载的一个做mnist手写数字分类的LSTM，修改了两个小地方。
x = tf.split(x, n_steps, 0)
cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y, logits=pred))- Batch-size
增大 Batch_Size 有何好处？
内存利用率提高了，大矩阵乘法的并行化效率提高。跑完一次 epoch（全数据集）所需的迭代次数减少，对于相同数据量的处理速度进一步加快。在一定范围内，一般来说 Batch_Size 越大，其确定的下降方向越准，引起训练震荡越小。
盲目增大 Batch_Size
最低0.47元/天 解锁文章
扫一扫
578
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
