问题1:神经网络有哪些初始化的方法、为什么要初始化
不初始化可能会减慢收敛速度,影响收敛效果。
如果使用的是预训练模型,是不需要自己进行初始化的,只有没有预训练模型的时候需要初始化。
常用的权重初始化算法是「kaiming_normal」或者「xavier_normal」。
以下n_in为网络的输入大小,n_out为网络的输出大小,n为n_in或(n_in + n_out) * 0.5
- uniform均匀分布初始化:
- Xavier初始法,适用于普通激活函数(tanh,sigmoid):
- He初始化,适用于ReLU:
- normal高斯分布初始化,其中stdev为高斯分布的标准差,均值设为0:
- Xavier初始法&#