深度模型中的梯度消失和梯度爆炸

当神经网络的层数较多时，模型的数值稳定性容易变差。假设一个层数为L的多层感知机的第$l$层$H^{(l)}$的权重参数为$W^{(l)}$，输出层$H^{(L)}$的权重参数为$W^{(L)}$。为了便于讨论，不考虑偏差参数，且设所有隐藏层的激活函数为恒等映射$\varphi (x)=x$。给定输入$X$，多层感知机的第$l$层的输出$H^{(l)}=X{W}^{(1)}X{W}^{(2)}...W^{(l)}$。此时，如果层数$l$较大，$H^{(l)}$的计算可能会出现衰减或爆炸。

举个例子，假设输入和所有层的权重参数都是标量，如权重参数为0.2和5，多层感知机的第30层输出为输入$X$分别与$0.2^{30}\approx 1\times 10^{-21}$（衰减）和$5^{30}\approx 9\times 10^{20}$（爆炸）的乘积。类似的，当层数较多时，梯度的计算也更容易出现衰减或爆炸。