深度学习中学习率和BatchSize对模型的影响

随机梯度下降算法的原理如下，

n是批量大小(batchsize)，η是学习率(learning rate)。可知道除了梯度本身，这两个因子直接决定了模型的权重更新，从优化本身来看它们是影响模型性能收敛最重要的参数。

学习率直接影响模型的收敛状态，batchsize则影响模型的泛化性能，两者又是分子分母的直接关系，相互也可影响

学习率如何调整

初始学习率大小对模型性能的影响

初始的学习率肯定是有一个最优值的，过大则导致模型不收敛，过小则导致模型收敛特别慢或者无法学习，下图展示了不同大小的学习率下模型收敛情况的可能性，图来自于cs231n。

通常可以采用最简单的** 搜索法 ，即从小到大开始训练模型，然后记录损失的变化**，通常会记录到这样的曲线。