本文详细介绍了RNN模型，从基础的NN模型和FFNN模型开始，阐述了RNN如何通过添加跨越时间点的自连接隐藏层进行时间序列建模，解决了FFNN的信息丢失问题。同时，提到了RNN的训练方法BPTT以及梯度弥散问题，为解决此问题引入了LSTM。最后，简要提及了双向RNN（BRNN）的概念。
（一）NN模型（neural network）
1.NN模型是复杂神经网络模型的基础计算单元，广泛使用于各种神经网络模型中，如下所示：
2.NN模型常见的激活函数主要有3种：sigmoid函数，tanh函数，以及ReLU（rectified linear unit）函数，分别如下：
3.NN模型若放在输出层，不同的任务使用不同的激活函数：
（1）multi-class：使用softmax函数
（2）multi-label：每个节点使用一个sigmoid函数
（二）FFNN模型（feedforward neural network）
1.前向传播网络如下，在输入层输入数据后，根据NN模型依次进行计算即可得输出，该网络常用于
最低0.47元/天 解锁文章
6万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
