Xavier初始化和He初始化_xavier初始化和he初始话-CSDN博客

本文链接：https://blog.csdn.net/xxy0118/article/details/84333635

本文深入探讨了深度学习中两种重要的权重初始化方法：Xavier初始化和He初始化。Xavier初始化确保了正向传播和反向传播时方差的稳定，适用于tanh和softsign激活函数。He初始化则针对ReLU及其变种，保持了状态值和梯度方差的一致性，特别设计用于卷积神经网络。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

条件：正向传播时，激活值的方差保持不变；反向传播时，关于状态值的梯度的方差保持不变。
初始化方法：
$W\sim U[-\frac{\sqrt6}{\sqrt{n_i+n_{i+1}}},\frac{\sqrt6}{\sqrt{n_i+n_{i+1}}}]$
假设激活函数关于0对称，且主要针对于全连接神经网络。适用于tanh和softsign
论文地址：Understanding the difficulty of training deep feedforward neural networks
参考资料：
深度学习之参数初始化（一）——Xavier初始化

条件：正向传播时，状态值的方差保持不变；反向传播时，关于激活值的梯度的方差保持不变。
适用于ReLU的初始化方法：
$W\sim N[0,\sqrt{\frac{2}{\hat{n_i}}}]$
适用于Leaky ReLU的初始化方法：
$W\sim N[0,\sqrt{\frac{2}{(1+\alpha^2)\hat{n_i}}}]$
$\hat{n_i}=h_i*w_i*d_i$
其中， $h_i$ 、 $w_i$ 分别表示卷积层中卷积核的高和宽，而 $d_i$ 当前层卷积核的个数。
- 疑问：在论文里，当前层卷积核个数 $d_{i}$ 与当前层输出通道个数 $out_{i}$ （下一层输入通道个数 $in_{i+1}$ ）是一致的，即 $d_{i}=out_{i-1}=in_{i+1}$ 。但是在tensorflow的实现中， $d_{i}=in_{i}*out_{i}$ 。在用tensorflow实现He初始化时，应该以哪个为准？（个人倾向前者）
论文地址：Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification
参考资料：
深度学习之参数初始化（二）——Kaiming初始化
 He初始化论文阅读笔记与实现