梯度消失问题（vanishing gradient problem）

tips

1. 梯度消失的原因是使用了sigmoid作为激活函数
2. sigmoid函数将很大范围的数对应的输出都映射到了0和1之间，这导致前向计算每个结点的值时，即使是一个很大的输入，经过一次sigmoid函数的变换，都会变成0到1之间的数，如此几次，便变得极小。
3. 反向传播计算$\partial C/\partial z$后，要逐层乘以前向计算好的$x_i$来求得$\partial C/\partial w_i$，而这些$x_i$无一例外是小于1的，因此越靠前的$\partial C/\partial w_i$越小。