[Deeplearning]mini-batch大小的选择

内容来在 A Practical Guide to Training Restricted Boltzmann Machines
mini-batch 的大小通常选为10-100。
为了避免在改变mini-batch大小时需要改变学习速率,所以需要将在mini-batch上得到的梯度处理mini-batch的大小。
如果选择随机梯度下降的方法进行优化,最好不要将mini-batch的大小设置的太大。

展开阅读全文

没有更多推荐了,返回首页