【人工智能专栏】Xavier initialization合理的初始化权值

Xavier initialization

原理推导

我们希望网络在训练时有“合理的初始化权值”，即通过适合的参数初始化方法，让张量在网络中可以达到最佳的非线性映射效果。但是在居多网络的层中，例如 sigmoid relu batchnorm 等层都对输入数据的值比较敏感，过大 / 过小的值都可能让输出落入饱和区间，进而失去梯度，如 sigmoid 图像：

假设神经网络：

y