文章目录 怎么计算的梯度? 引起梯度消失与梯度爆炸的原因 1. 权重初始化 2. 激活函数选择不当 3. 神经网络本身的结构问题,如RNN 怎么计算的梯度? 每一层的残差都由后一层的残差乘以两层之间的权重矩阵,再乘以当前层的激活函数的导数得到。 权重梯度由前面的激活值和后面的残差乘积得到的 引起梯度消失与梯度爆炸的原因 1. 权重初始化 因为 梯 度 i , i + 1 梯度_{i, i+1} 梯度i,i+1是由 激 活 值 i 激活值_i 激活值i ✖