问题 权值为什么不能初始化为0 解答 逻辑回归(logistic)参数初始化为什么可以为0 逻辑回归相比神经网络的区别：其就是一个单层的神经网络，不过激活函数是sigmoid函数 逻辑回归的结构图如下：输入为x1、x2，权值为w11、w21，输出为a1 前向传播/交叉熵损失公式为： 激活函数 f
超级会员免费看
本文探讨了深度学习中权值初始化的重要性。逻辑回归参数可以为0，但神经网络中权值初始化为0会导致权值对称性问题，影响网络的特征提取能力。此外，当权重和偏置都为0时，中间层的ReLU激活函数可能导致神经元死亡。然而，当权重随机初始化，偏置为0时，网络可以正常更新。总结来说，神经网络的所有权值不应初始化为同一常数，最后一层可以初始化为0。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
