RNN
字面意思循环神经网络,接下来放一张结构图,大家就比较直观地可以理解了。
由这个图大家可以粗略地看出rnn的一个简单结构,它是一步一步向前传递的,所以说是和序列有关的。
上面这个图就比较具体了,我们可以看出rnn其实有三层网络结构:输入层,隐藏层和输出层,都说rnn是参数共享的什么意思呢?看图,所有的输入层到隐藏层都共用矩阵Whx,所有的隐藏层中的节点向前传递信息都共用矩阵Whh,所有隐藏层到输出层都共用矩阵Wyh。
LSTM
字面意思长短期记忆网络,它出现的意义在于rnn无法记忆长距离的信息。
具体我不做太多的阐述,上图的结构已经很清晰了,同时我会给出具体的计算公式,里面涉及到两个激活函数,sigmoid和tanh,如下图。
以上图片部分来源为深度之眼。
大家如果想进一步理解,网上的相关资料比较多,我这里推荐一篇深入理解LSTM,谢谢大家,有问题欢迎留言交流