转自https://blog.csdn.net/xxy0118/article/details/84333635
- Xavier初始化:
- 条件:正向传播时,激活值的方差保持不变;反向传播时,关于状态值的梯度的方差保持不变。
- 初始化方法:
W∼U[−6√ni+ni+1√,6√ni+ni+1√]
W∼U[−ni+ni+16,ni+ni+16
- ]
- 假设激活函数关于0对称,且主要针对于全连接神经网络。适用于tanh和softsign
- 论文地址:Understanding the difficulty of training deep feedforward neural networks
- 参考资料:
深度学习之参数初始化(一)——Xavier初始化
- He初始化:
- 条件:正向传播时,状态值的方差保持不变;反向传播时,关于激活值的梯度的方差保持不变。
- 适用于ReLU的初始化方法:
W∼N[0,2niˆ−−√]
W∼N[0,ni^2
- ]
- 适用于Leaky ReLU的初始化方法:
W∼N[0,2(1+α2)niˆ−−−−−−−√] - W∼N[0,(1+α2)ni^2]
niˆ=hi∗wi∗dini^=hi∗wi∗di
其中,hihi、wiwi分别表示卷积层中卷积核的高和宽,而didi当前层卷积核的个数。- 疑问:在论文里,当前层卷积核个数di
-
- di=ini∗outi。在用tensorflow实现He初始化时,应该以哪个为准?(个人倾向前者)
- 论文地址:Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification
- 参考资料:
深度学习之参数初始化(二)——Kaiming初始化
He初始化论文阅读笔记与实现