归一化与激活

归一化

在解决分类问题时，将结果映射到特定范围内，一般在（0，1）之间。
例如，做分类问题时，输出的结果为（x1，x2，x3）经过归一化之后得到（0.2，0.1，0.7），认为分到类别1的概率为0.2，分到类别2的概率为0.1，分到类别3的概率为0.7

激活

如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机（Perceptron）。
如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。
Sigmoid函数

Tanh函数

ReLU函数

参考自百度百科

归一化与激活的先后顺序

参考：
作者：成都孙笑川
链接：https://www.nowcoder.com/discuss/421969?type=6
来源：牛客网

一般是卷积-BN-Relu.
Sigmoid：如果先BN再Sigmoid，由于BN后方差接近于1，均值接近于0，使得BN后的数据接近于Sigmoid的线性区域，降低了激活函数的非线性能力，这种情况下建议Sigmoid+BN。

Relu：如果先Relu再BN，Relu后部分神经元已经失活，失活的神经元将对BN的归一化产生影响，这种情况下建议BN+Relu。