【深度学习】深度学习中RNN梯度消失

RNN梯度消失理解

深度学习与RNN模型

**深度学习主要思想为统计不变性（最主要的是权重共享，大大降低神经网络中的向量维数，一定程度上可以避免过拟合同时也能降低计算量），表现在空间上权重共享上体现为CNN（Convolutional Neural Network），时间上权重共享体现为RNN（Recurrent Neural Networks）。 RNN前向传播：

处理序列数据，如下图：

该图为unrolling状态的RNN，将每个时刻的输入输出以及互相的影响更为直观的体现出来，上一时刻的隐藏层输出会对下一时刻的隐藏层产生影响，公式体现为：

RNN反