神经网络的权重初始化为什么要随机

在神经网络中，我们知道输入层的节点个数在就是输入数据个特征（feature）个数，在隐藏层，节点的个数也代表着数据在经过处理之后新”提取“出来的数据特征（feature），一个隐藏层的节点个数越多，意味着这一层所提取的新特征越多。用下面这个图片说明

上图中输入层的有两个节点，表示只有两个特征输入神经网络中，经过第一个隐藏层处理之后，变成了四个新特征（因为隐藏层有四个节点），最后再对这四个新特征处理判断最终的结果作为最终的预测结果输出。

再比如下面这张图片，它是用于人脸识别的模型CNN。在layer1的时候，有24个特征，每一个特征基本都是表示一个不同形状和方向的斑点。在layer2中，有32个新特征，每一个新特征表示人脸的不同部位。

而在上面的layer1和layer2中，这些小格子之所以能够表示不同的特征，也就是它们之所以不同，是因为它们的参数不同（W和b），我们知道，训练神经网络模型，其实就是在不断调整模型的参数（对于简单的模型，就只有W和b了），也就是这些参数表述着每一层的特征。那么，回到题主的问题，如果一个layer中的参数完全一样，那么就相当于在该layer中它们表述的特征是相同的，即使在这个layer有多个节点，这跟在这个layer中只用一个节点没有差别。如果每一个layer中的参数都是一样的，这个极端就使得模型退化为线性的了（不再是网络，而是一条点线点线相连的形状了）。

到目前为止，还没有回答完题主的问题哈！

我们来假设，如果在每一层（layer）中的参数W初始化为相同的值，使用反向传播来训练该模型。而参数W的更新规则是按照下面的公式进行的：

其中i表示第i个layer，a表示learning rate。

那么在前向传播（forward propageate）时，每一层的输出都将是一样的，下面是对应上图的前向传播的公式。这将导致，在反向传播的时候，每一层的dW都一样，进而使得每一层的W一样。这样就回到了上面所讲的模型退化问题了。

结束！如有出入的地方，欢迎指正，谢谢！