好的初始化可以加速梯度下降的收敛速度,增加收敛的可能性。
1.初始化
np.zeros(),最为简单,里面的维度需要括号括起来。记住w和b的shape。
准确率0.5/0.5,全部分为类别0。
全部参数初始化为0,会使网络无法打破对称性,意味着每一层中的每个神经元学习的都是一样的东西。
随机初始化可以打破对称性,但是b可以初始化为全0。
2.随机初始化
w随机初始化np.random.randn(),b零初始化np.zeros(),w乘以10得到一个较大的初始化值。
好的初始化可以加速梯度下降的收敛速度,增加收敛的可能性。
1.初始化
np.zeros(),最为简单,里面的维度需要括号括起来。记住w和b的shape。
准确率0.5/0.5,全部分为类别0。
全部参数初始化为0,会使网络无法打破对称性,意味着每一层中的每个神经元学习的都是一样的东西。
随机初始化可以打破对称性,但是b可以初始化为全0。
2.随机初始化
w随机初始化np.random.randn(),b零初始化np.zeros(),w乘以10得到一个较大的初始化值。