神经网络参数初始化为0

optimizer

• 正向传播：

$$\begin{gathered} a_3=g(W_{13}\times a_1+W_{23}\times a_2+b_1) \\ {a}_4=g(W_{14}\times a_1+W_{24}\times a_2+b_2) \\ {a}_5=g(W_{35}\times a_3+W_{45}\times a_4+b_3) \end{gathered}$$

• 反向传播：

$$L=-ylog(a_5)-(1-y)log(1-a_5)$$

$$\frac{\partial L}{\partial a_5}=-\frac{y}{a_5}+\frac{1-y}{1-a_5}$$

$$\frac{\partial L}{\partial W_{35}}=(-\frac{y}{a_5}+\frac{1-y}{1-a_5})\times a_5(1-a_5)\times a_3=(a_5-y)\times a_3$$

$$\frac{\partial L}{\partial W_{45}}=(-\frac{y}{a_5}+\frac{1-y}{1-a_5})\times a_5(1-a_5)\times a_4=(a_5-y)\times a_4$$

$$\frac{\partial L}{\partial b_3}=(-\frac{y}{a_5}+\frac{1-y}{1-a_5})\times a_5(1-a_5)\times a_4=(a_5-y)$$
$$\frac{\partial L}{\partial a_3}=(-\frac{y}{a_5}+\frac{1-y}{1-a_5})\times a_5(1-a_5)\times a_3=(a_5-y)\times W_{35}$$

$$\frac{\partial L}{\partial a_4}=(-\frac{y}{a_5}+\frac{1-y}{1-a_5})\times a_5(1-a_5)\times a_4=(a_5-y)\times W_{45}$$
$$\frac{\partial L}{\partial W_{13}}=(a_5-y)\times W_{35}\times a_4(1-a_4)\times a_1$$

$$\frac{\partial L}{\partial W_{14}}=(a_5-y)\times W_{45}\times a_3(1-a_3)\times a_1$$

$$\frac{\partial L}{\partial W_{23}}=(a_5-y)\times W_{35}\times a_4(1-a_4)\times a_2$$

$$\frac{\partial L}{\partial W_{24}}=(a_5-y)\times W_{45}\times a_4(1-a_4)\times a_2$$

$$\frac{\partial L}{\partial b_2}=(a_5-y)\times W_{45}\times a_4(1-a_4)$$

$$\frac{\partial L}{\partial b_1}=(a_5-y)\times W_{35}\times a_3(1-a_3)$$
$$\frac{\partial L}{\partial a_1}=(a_5-y)\times W_{35}\times a_3(1-a_3)\times W_{13}+(a_5-y)\times W_{45}\times a_4(1-a_4)\times W_{14}$$

$$\frac{\partial L}{\partial a_2}=(a_5-y)\times W_{35}\times a_3(1-a_3)\times W_{23}+(a_5-y)\times W_{45}\times a_4(1-a_4)\times W_{24}$$

• 当$W$全部设为$0$，$b$全部设为$0$

第一个epoch梯度更新时，$W_{35},W_{45},b_3$会更新，其余的都为为$0$，不发生变化，第二次梯度更新时，$a_3=a_4$，$W_{13},W_{14},W_{23},W_{24},b_1,b_2$的更新变化相同，第三次，第四次都会和第二次相同。

• 当$W$全部设为$0$，$b$随机初始化

第一个epoch梯度更新时，$W_{35},W_{45},b_3$会更新，其余的都为为$0$，不发生变化，第二次梯度更新时，所有的参数都能够得到更新。这种方式存在更新较慢、梯度消失、梯度爆炸等问题，在实践中，通常不会选择此方式。

• 当$W$随机初始化，$b$设为$0$

在反向传播的过程中所有$W$和$b$都能得到更新。