san_sun的博客

原创 Batch Normalization

Batch Normalization 这篇Blog主要总结一下Batch Normalization在训练模型的时候的作用，以及具体的实现方法。 为什么需要使用Batch Normalization? 首先了解一下什么是batch、batch_size、和epoch epoch: 表示把所有的训练集输入到模型完整地训练一遍。 batch: 模型训练时，往往不是一次性把所有的训练集输入到模型中，而是把训练集分成较小的批，即分成一个个的batch batch_size: batch的大小 例如batch_