做 BN 可以使特征归一化,W 规模差不多时可以使用同一 lr 进行训练,也可以防止梯度消失/爆炸。对隐层的输出先做 BN ,可使值落在 0 附近,再激活,此时梯度较大利于训练。ReLU 对负值的输出为 0 ,可使网络稀疏(类似 dropout)。