随机初始化 θ 值

在训练神经网络的时候，如果初始化 θ 值相等，那么每个样本的所占权重就会相同，最后的预测结果也都是一样的。因此随机初始化 θ 值在神经网络中是非常重要的。一种非常有效的随机初始化方法是在 [−ϵ_init ,ϵ_init ]之间挑选Θ^(l) 的值。你应该使用,ϵ_init = 0.12.这个范围的值确保参数被保持的很小，并且使学习更有效。

% Randomly initialize the weights to small values
epsilon init = 0.12;
W = rand(L_out, 1 + L in)*2*epsilon_init − epsilon_init;

ϵ_init 的计算方法

L_in = s_l , L_out = s_l+1 ,是Θ^(l)相邻层中的单元数。