神经网络公式推导：BP反向传播、长短时记忆（LSTM）、GRU（Gated Recurrent）神经网络

1、BP反向传播神经网络介绍及公式推导
神经网络中的反向传播（BackPropagation）介绍及公式推导 神经网络中的激活函数的作用，最常用的两个激活函数Sigmoid 和TanH 代价函数对介绍二次代价函数(Quadratic Cost)，交叉熵代价函数(Cross-entropy Cost)。

下载：BP反向传播神经网络介绍及公式推导

2、长短时记忆神经网络（LSTM）介绍及公式推导
长短时记忆网络(Long Short Term Memory Network, LSTM)，它有效地解决了原始循环神经网络(RNN)的缺陷，在语音识别、图片描述、自然语言处理等许多领域中成功应用。本文讲解由三个Gate（input、forget、output）和一个cell 单元组成的基础LSTM 网络。

下载：长短时记忆神经网络（LSTM）介绍及公式推导

3、长短时记忆神经网络（LSTM-2）型介绍及公式推导
长短时记忆网络(Long Short Term Memory Network, LSTM)，它有效地解决了原始循环神经网络(RNN)的缺陷，在语音识别、图片描述、自然语言处理等许多领域中成功应用。（LSTM-2）型引入了Ct，Ct-1记忆对神经网络的影响，这个算法的预测效果要更好。

下载：长短时记忆神经网络（LSTM-2）型介绍及公式推导

4、GRU（Gated Recurrent）神经网络介绍及公式推导
GRU（Gated Recurrent Unit）神经网络是LSTM 的一个变体，GRU 在保持了LSTM 的效果同时又使结构更加简单，是一种非常流行RNN 神经网络，它只有两个门了，分别为更新门t z 和重置门tr 。更新门控制前一时刻的状态信息被带入到当前状态中的程度，值越大前一时刻的状态信息带

下载：GRU（Gated Recurrent）神经网络介绍及公式推导