qq_62593752的博客

学习率、损失函数以及batch norm在训练中的影响，以及一些training tips的介绍，包括warm up、adam、adagrad、RMSProp等方法。

但是呢，在我们上面鞍点和局部最小值的讨论中，我们可以知道large batch训练过程中容易陷入这些陷阱，但是small batch就很难陷入这些困境了，因为在一个batch上面是local minima在另一个batch上面不一定就是local minima。然而，我们有时候会发现，明明我们的模型理论上很完善，训练误差理应很小，但实际却很大。​ batch size的选择也有一定的意义，在现在GPU的发展下，并行计算的能力越来越强，大batch与小batch update一次的时间其实也没差太多。

文章针对机器学习训练过程中可能出现的一些问题，包括overfitting,optimization等做出了一些解释，并对部分问题进行了解答。剩余的问题将在以后的学习进程中涉及。