超级会员免费看
本文探讨了深度学习中权值初始化的重要性。逻辑回归参数可以为0，但神经网络中权值初始化为0会导致权值对称性问题，影响网络的特征提取能力。此外，当权重和偏置都为0时，中间层的ReLU激活函数可能导致神经元死亡。然而，当权重随机初始化，偏置为0时，网络可以正常更新。总结来说，神经网络的所有权值不应初始化为同一常数，最后一层可以初始化为0。
本文探讨了深度学习中权值初始化的重要性。逻辑回归参数可以为0，但神经网络中权值初始化为0会导致权值对称性问题，影响网络的特征提取能力。此外，当权重和偏置都为0时，中间层的ReLU激活函数可能导致神经元死亡。然而，当权重随机初始化，偏置为0时，网络可以正常更新。总结来说，神经网络的所有权值不应初始化为同一常数，最后一层可以初始化为0。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
