7网络参数初始化
7.1 全零初始化
网络收敛到稳定状态时,参数(权值)在理想情况下应基本保持正负各半,期望为0
全0初始化可以使初始化全零时参数期望为0
但是,全0初始化不能训练
7.2随机初始化
仍然希望参数期望接近1
随机参数服从高斯分布或均匀分布进行初始化
7.2.1.高斯分布
高斯分布为均值为0,方差为1 的标准高斯分布
w = 0.001 .* randn(n_in,n_out); %0.001控制参数量纲,使参数期望保持在接近0的较小数值范围内
即网络输出数据分布的方差会随着输入神经元个数改变
7.2.2.Xaiver参数初始化方法
对方差大小规范化
w = (0.001 .* randn(n_in, n_out)) ./ sqrt(n);
乘上 1n√ 1 n
7.2.3.He参数初始化
乘上 1n/2√ 1 n / 2
收敛效果更好
7.2.4 均匀分布
在区间[low,high]上成规范化系数
7.3其他初始化
- 采用预训练模型
- 数据敏感的参数初始化方式
参考文献:解析卷积神经网络—深度学习实践手册