本文是基于colah的文章学习笔记，探讨LSTM如何解决RNN的长期依赖问题。通过介绍LSTM的门结构——遗忘门、输入门和输出门，解释每个门的功能，帮助理解LSTM的工作原理。建议先了解sigmoid和tanh函数，并使用Tensorflow或PyTorch框架实践LSTM程序。LSTM输入数据需经过word2vec向量化，输出为邻接概率转移矩阵。
参考了colah的文献。说实话，这篇文章不是给零基础地学生看的，知识鄙人再学习完神经网络之后的学习笔记。所以需要先看看colah地文章，至少先把这位大佬文章上地图看懂。
我是零基础看的。在理解的时候，带着者几个问题看的
1. 基本概念：神经网络的层和门是什么意思；2. 神经单元的层输入和输出数据是什么形式，表示什么意义；3.层的计算使用的函数的作用是什么，为什么使用这几个函数（建议先从这几个函数的特点思考）。
解决这些问题，LSTM应该是入门了。 我会在接下来的介绍中显示或者隐式地回答这些问题。
LSTM(long short term memory)是一个为了解决RNN不能长期依赖而解决的研发出来的。
什么是长期依赖呢？
如下图RNN神经网络单元图
图1 RNN神经单元
在每一个神经网络单元中只有一个tanh函数，前一个单元的知识会通过tanh函数遗忘部分，如果经过多层（每层是一个由神经单元表示）处理之后前面的知识会被遗忘，比如I study in school (3000 words) so i am a student，那么school和student之间的几乎无相关关系。
LSTM就是为了解决RNN长期以来而研发出来的。为了解决这个问题，LSTM添加了知识库
最低0.47元/天 解锁文章
1109
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
