Xavier initialization 原理推导 我们希望网络在训练时有“合理的初始化权值”,即通过适合的参数初始化方法,让张量在网络中可以达到最佳的非线性映射效果。但是在居多网络的层中,例如 sigmoid relu batchnorm 等层都对输入数据的值比较敏感,过大 / 过小的值都可能让输出落入饱和区间,进而失去梯度,如 sigmoid 图像: 假设神经网络: y