神经网络权重初始化不能为0，因为这会导致各层激活函数输出一致，限制了学习不同特征的能力。权重应随机初始化，以确保每层神经元能独立学习特征组合，适应复杂数据的拟合。初始化为0或相同值将使网络失去多样性，类似只有一层神经元的效果。
逻辑回归权值初始化为0是ok的，参数可以得到更新，因为参数的梯度会因为x1,x2的不同而不同。暗示神经网络不行，因为参数的梯度依赖于正向传播上一层激活函数的输出，它的输入为0，输出一致。
1 权重初始化为0，偏置初始化为0
权重不能全初始化为0，因为这样的话，每一层各个激活函数后的输出一致（一般非0，比如sigmoid），每一层隐藏层各自的神经元的权重更新始终一致，相当于每一层只有一个神经元，意味着它们都在计算一个特征，使得神经网络失去了学习不同特征的能力。
并且第一个batch只有最后一层参数更新，第二个batch才有倒数第二层参数更新（倒数第二层的参数依赖于loss的导数、激活函数的导数、正向传播上一层的输入和以及反向传播的上一层的w更新前的值），直到若干batch后，所有层的权重都开始更新，这个时候权重值才会出现差异，但是同一层中，每个神经元的参数列表都和其他神经元一模一样，相当于每一层只有一个神经元。
此时的全连接层相当于卷积核大小等于图片的cnn，cnn的目的本来是提取局部特征，等于图片大小的卷积核提取不到任何局部特征，没有意义。
2 权重初始
最低0.47元/天 解锁文章
2949
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
