逻辑回归权值初始化为0是ok的，参数可以得到更新，因为参数的梯度会因为x1,x2的不同而不同。暗示神经网络不行，因为参数的梯度依赖于正向传播上一层激活函数的输出，它的输入为0，输出一致。
1 权重初始化为0，偏置初始化为0
权重不能全初始化为0，因为这样的话，每一层各个激活函数后的输出一致（一般非0，比如sigmoid），每一层隐藏层各自的神经元的权重更新始终一致，相当于每一层只有一个神经元，意味着它们都在计算一个特征，使得神经网络失去了学习不同特征的能力。
并且第一个batch只有最后一层参数更新，第二个batch才有倒数第二层参数更新（倒数第二层的参数依赖于loss的导数、激活函数的导数、正向传播上一层的输入和以及反向传播的上一层的w更新前的值），直到若干batch后，所有层的权重都开始更新，这个时候权重值才会出现差异，但是同一层中，每个神经元的参数列表都和其他神经元一模一样，相当于每一层只有一个神经元。
此时的全连接层相当于卷积核大小等于图片的cnn，cnn的目的本来是提取局部特征，等于图片大小的卷积核提取不到任何局部特征，没有意义。
2 权重初始化为非0但是一样的参数
虽然后续参数更新会有差异，但是同一层每个神经元的大小一致一样，那每个神权重参数列表和其他神经元一样，神经元学习相同的特征组合，和1一样，相当于每一层只有一个神经元，无法学习到更多的特征组合和复杂的关系。
3 权重初始化为0，偏重随机初始化
同1，学习到的特征组合一样，相当于y=x+b,一直在改变b但是x的系数不改变，不能很好地拟合复杂的数据
4 权重随机初始化，偏重初始化为0
所有参数的导数都不同，都可以得到更新
809
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
