【干货】人人都能看懂的LSTM

0?wx_fmt=gif&wxfrom=5&wx_lazy=1

推荐阅读时间:8min~13min

推荐理由:这是在看了台大李宏毅教授的深度学习视频之后的一点总结和感想。看完介绍的第一部分RNN尤其LSTM的介绍之后,整个人醍醐灌顶。


10. 从RNN说起



循环神经网络(Recurrent Neural Network,RNN)是一种用于处理序列数据的神经网络。相比一般的神经网络来说,他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义,RNN就能够很好地解决这类问题。


2 普通RNN



先简单介绍一下一般的RNN。

其主要形式如下图所示(图片均来自台大李宏毅教授的PPT):

?wx_fmt=png



?wx_fmt=png

通过序列形式的输入,我们能够得到如下形式的RNN。


3  LSTM2.1 什么是LSTM


长短期记忆(Long short-term memory, LSTM)是一种特殊的RNN,主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说,就是相比普通的RNN,LSTM能够在更长的序列中有更好的表现。


LSTM结构(图右)和普通RNN的主要输入输出区别如下所示。

?wx_fmt=png



?wx_fmt=png



2.2 深入LSTM结构


下面具体对LSTM的内部结构来进行剖析。

?wx_fmt=png

下面开始进一步介绍这四个状态在LSTM内部的使用。(敲黑板)

?wx_fmt=png


LSTM内部主要有三个阶段:

?wx_fmt=png


4  总结


以上,就是LSTM的内部结构。通过门控状态来控制传输状态,记住需要长时间记忆的,忘记不重要的信息;而不像普通的RNN那样只能够“呆萌”地仅有一种记忆叠加方式。对很多需要“长期记忆”的任务来说,尤其好用。


但也因为引入了很多内容,导致参数变多,也使得训练难度加大了很多。因此很多时候我们往往会使用效果和LSTM相当但参数更少的GRU来构建大训练量的模型。

对于GRU我会在以后的文章中进行介绍。


分享朋友圈 也是另一种赞赏

The more we share, The more we have

 

欢迎加入数据君高效数据分析社区


加我私人微信进入大数据干货群:tongyuannow 





640?wx_fmt=jpeg






目前100000+人已关注加入我们

640.jpeg? 0.gif? 0.gif? 0.gif? 0.gif? 0.gif? 0.gif? 0.gif?

0.gif? 0.gif? 0.gif? 0.gif? 0.gif? 0.gif? 0.gif? 0.gif?



640?wx_fmt=jpeg


展开阅读全文

没有更多推荐了,返回首页