caffe源码学习——batch_norm_layer
BatchNorm是深度学习网络中必不可少的层,可以起到加速收敛的作用。由于每一个Batch的数据都具有不同的分布,为了加速模型的学习能力,对数据进行归一化。此外,由于又不能完全归一化,需要根据当前数据分布对数据进行缩放和偏移。因此,BatchNorm主要有两个步骤:求解数据的均值和方差,并归一化;对归一化的数据缩放和偏移。在caffe源码中,对BatchNorm也是分开描述的,步骤一体现在batch_norm_layer.cpp(.cu)中,步骤二体现在scale_layer.cpp(.cu)。
原创
2021-03-18 16:10:07 ·
317 阅读 ·
1 评论