batchsize和learning rate的影响

1、batchsize

      batchsize 影响模型的泛化能力。大的batchsize，减少训练时间，提高稳定性，这是由于batchsize较大时，minibatch数据的方差较小，这也意味着带来的梯度方差较小，梯度更加可信。噪声给模型带来的影响相应减小，在可信的梯度下，我们可以提高学习率。

    batchsize大会降低模型的泛化能力，因为batchsize大意味着训练时间不够长，本质上不是batchsize的问题。

2、learning rate

    学习率直接影响模型的收敛状态。学习率过大导致模型不收敛，过小导致模型收敛较慢或者学习失败。

    学习率要满足两个条件：1、不管初始状态距离最优多远，一定可以收敛；2、学习率随着训练降低，保证收敛稳定性。

3、batchsize和learning rate之间的关系     

    batchsize为原来的N倍时，要保证经过同样的样本后更新的权重相等，按照线性缩放规则，学习率应该增加为原来的N倍[5]。但是如果要保证权重的方差不变，则学习率应该增加为原来的sqrt(N)倍，目前这两种策略都被研究过，使用前者的明显居多

参考：【AI不惑境】学习率和batchsize如何影响模型的性能？ - 知乎

【深度学习】BatchSize设置_littlemichelle-CSDN博客_batch_size如何设置