BN层在每个batch上将前一层的激活值重新规范化,使得其输出数据得到均值接近0,标准差接近1。
【Tips】BN层的作用:
(1)加速收敛;
(2)控制过拟合,可以少用或不用Dropout和正则;
(3)降低网络对初始化权重不敏感
(4)允许使用较大的学习率
摘自Keras中文社区:https://keras-cn.readthedocs.io/en/latest/layers/normalization_layer/
BN层在每个batch上将前一层的激活值重新规范化,使得其输出数据得到均值接近0,标准差接近1。
【Tips】BN层的作用:
(1)加速收敛;
(2)控制过拟合,可以少用或不用Dropout和正则;
(3)降低网络对初始化权重不敏感
(4)允许使用较大的学习率
摘自Keras中文社区:https://keras-cn.readthedocs.io/en/latest/layers/normalization_layer/