神经网络参数初始化-He初始化

Glorot和Bengio提出了Xavier方法来初始化网络参数。该方法基于激活是线性的假设。但该假设对ReLU不适用。何凯明（He kaiming）在论文《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》中提出了针对 ReLU激活网络的初始化方法。

He初始化

与Xavier方法一样，He初始化方法也希望初始化使得正向传播时，状态值的方差保持不变；反向传播时，关于激活值的梯度的方差保持不变。

其初始化方法为：

其中，为第 l 层神经元个数。

论文：Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification

论文作者推导过程针对的是CNN网络的前向传播和反向传播过程。我们讨论全连接网络结构。

正向传播

正向传播为：

其中，为权重矩阵，为上一层的输出，