云端拾疑

记录一些困惑自己的问题。

1. BN(Batch Normalization)能否在batch size = 1时使用？

    答：Convolutional layer可以用，tensorflow和pytorch都可以无错运行。

            BN在conv层中实际的batch size = Number_of_sample * sample_height * sample_width。

            原文解释：

            

            实际应用时如果显存够，还是尽量用大于1的batch-size。

            另外：不要在最后一个conv层后和/或最后一个激活层前用BN，会降低很多performance。BN设计出发点是解决hidden layer的covariate-shift。