@TOCbatchsize取值依据
1.详情参考这位大佬:
https://www.zhihu.com/question/32673260
2.我遇到的问题
小白刚开始熟悉整个模型,想深层挖掘每一步的原理,由此,考虑minist分类时的batchsize为什么设置的512,能否设置成其他值?取值有什么依据?
3.batchsize取值会影响到什么
batchsize和学习率共同影响模型的性能,在一定范围batchsize大,会让模型更加稳定,而过大则会降低泛化能力,在机器学习方法中,泛化能力通俗来讲就是指学习到的***模型对未知数据的预测能力***。通常当我们增加batchsize为原来的N倍时,要保证经过同样的样本后更新的权重相等,按照线性缩放规则,学习率应该增加为原来的N倍。
4.解决我的问题
batchsize取值依据梯度下降算法,在一定范围内选择一个合适的值,仅此,没有固定要求。(小白的无奈)