由上面两篇关于L2-norm的博文说开来,那就必然会扯到keras中的keras.layers.BatchNormalization,这个玩意是啥作用呢?
keras.layers.BatchNormalization
help后得到的解释如下:
Normalize the activations of the previous layer at each batch,
i.e. applies a transformation that maintains the mean activation
close to 0 and the activation standard deviation close to 1.
翻译为:对前一层的激活进行每个batch的归一化。
其隐藏含义/潜台词是用在激活后,目前可以卷积后激活【激活的类单独用】,也可在卷积中设置激活参数,如下: