Learning rate调参
如何理解深度学习分布式训练中的large batch size与learning rate的关系?
PS: 上面博客提到的找最优初始学习率的方法参考如何找到最优初始学习率?
Priya Goyal《Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour》
如何理解深度学习分布式训练中的large batch size与learning rate的关系?
PS: 上面博客提到的找最优初始学习率的方法参考如何找到最优初始学习率?
Priya Goyal《Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour》