1、定义
批标准化(Batch Normalization)和全连接层一样,也是属于网络中的一层。BN层是针对单个神经元进行的,利用网络训练时一个min-batch的数据来计算该神经元xi的均值和方差,归一化后并重构,因而称为Batch Normalization。在每一层输入之前,将数据进行BN,然后再送入后续网络中进行学习。
代码如下:
批标准化(Batch Normalization)和全连接层一样,也是属于网络中的一层。BN层是针对单个神经元进行的,利用网络训练时一个min-batch的数据来计算该神经元xi的均值和方差,归一化后并重构,因而称为Batch Normalization。在每一层输入之前,将数据进行BN,然后再送入后续网络中进行学习。
代码如下: