lstm 来源结构参考文献 浅谈

原创 2015年11月20日 16:49:05

Long Short Term网络一般叫做 LSTM,是一种 RNN 特殊的类型,可以学习长期依赖信息。LSTM 由 Hochreiter & Schmidhuber (1997) 提出,并在近期被 Alex Graves 进行了改良和推广。究竟如何实现LSTM

RNN误区

我感觉有一件很重要的事情一直未被大家充分强调过(而且这也是我为什么不能使用RNN做我想做的事情的主要原因)。RNN和前馈神经网络并没有很大不同。最容易实现RNN的一种方法就是像前馈神经网络使用部分输入到隐含层,以及一些来自隐含层的输出。在网络中没有任何神奇的内部状态。它作为输入的一部分。


RNN的整体结构与前馈网络的结构非常相似


LSTM回顾

本节内容将仅覆盖LSTM的正式定义。有很多其它的好博文,都详细地描述了你该如何设想并思考这些等式。

LSTM有多种变换形式,但我们只讲解一个简单的。一个Cell由三个Gate(input、forget、output)和一个cell单元组成。Gate使用一个sigmoid激活函数,而input和cell state通常会使用tanh来转换。LSTM 的cell可以使用下列的等式来定义:

Gates:


输入变换:


状态更新:


使用图片描述类似下图:


由于门控机制,Cell可以在工作时保持一段时间的信息,并在训练时保持内部梯度不受不利变化的干扰。Vanilla LSTM 没有forget gate,并在更新期间添加无变化的cell状态(它可以看作是一个恒定的权值为1的递归链接),通常被称为一个Constant Error Carousel(CEC)。这样命名是因为它解决了在RNN训练时一个严重的梯度消失和梯度爆炸问题,从而使得学习长期关系成为可能。



如果你有兴趣的话,下面还有几篇关于RNN的好论文:

RNN学习笔记(三)-LSTM网络

RNN学习笔记(三)-LSTM网络 为了解决RNN的梯度问题,提出了一种优化的RNN网络——LSTM(Long short-term memory): 1.RNN的梯度问题及CEC 2.LSTM...
  • rtygbwwwerr
  • rtygbwwwerr
  • 2016年04月22日 18:09
  • 1773

DeepLearning之RNN和LSTM详解及实现

RNN1. 什么是RNNs RNNs的目的使用来处理序列数据。在传统的神经网络模型中,是从输入层到隐含层再到输出层,层与层之间是全连接的,每层之间的节点是无连接的。但是这种普通的神经网络对于很多问...
  • jiede1
  • jiede1
  • 2017年02月28日 14:29
  • 4368

DeepLearning之RNN和LSTM详解及实现

RNN1. 什么是RNNs RNNs的目的使用来处理序列数据。在传统的神经网络模型中,是从输入层到隐含层再到输出层,层与层之间是全连接的,每层之间的节点是无连接的。但是这种普通的神经网络对于很多问...
  • jiede1
  • jiede1
  • 2017年02月28日 14:29
  • 4368

深度解析LSTM神经网络的设计原理

本文原作者夕小瑶,本文原载于作者在的微信公众号——夕小瑶的卖萌屋。AI 研习社已获得转载授权。 想要搞清楚LSTM中的每个公式的每个细节为什么是这样子设计吗?想知道simple RNN是如何一步...
  • Y0W1as5eg37urFdS
  • Y0W1as5eg37urFdS
  • 2017年11月02日 00:00
  • 752

参考文献引用与表示方法

前言 写小论文期间竟然还大病一场,今天冬天第三次感冒了,悲剧!导师也说,我代码写的确实够快,但是论文却是一直没有练习的短板,一肚子思路却不知道该写什么,解决什么问题,值得反思! 昨天xmind重新...
  • zinss26914
  • zinss26914
  • 2014年01月07日 15:59
  • 2778

word自带参考文献标注功能—以word2013为例

今天调整论文的参考文献,发现文献标注确实很麻烦,就上网搜了一下参考文献的自动标注功能,发现了一名博主的文章写的很好,然后笔者根据自己的使用经验进行了一些补充,这里分享给大家。以word2013版为例,...
  • qiangzaizaiO
  • qiangzaizaiO
  • 2016年11月01日 19:10
  • 19802

参考文献的引用与论文中同步更新

版权声明:本文为fandroid原创文章,未经博主允许不得转载。 参考: http://jingyan.baidu.com/article/4e5b3e1952739291901e...
  • meteorhyl
  • meteorhyl
  • 2017年03月16日 16:46
  • 1866

Markdown基本语法总结

一、认识 Markdown在刚才的导语里提到,Markdown 是一种用来写作的轻量级「标记语言」,它用简洁的语法代替排版,而不像一般我们用的字处理软件 Word 或 Pages 有大量的排版、字体设...
  • u012195214
  • u012195214
  • 2017年02月06日 20:21
  • 758

Latex初学者入门(三)-- 用BibTeX生成参考文献

昨boss要往期Elsevier 刊投文章,距上次排版貌似过了好久,生疏了不少,翻出以前的写的一些笔记再复习复习。      不过这次好多了,仅仅是改个格式,原始的文章已经用latex编写过了(个人感...
  • xueerfei008
  • xueerfei008
  • 2013年11月09日 10:55
  • 28087

在Word2010中交叉引用插入参考文献

在Word2010中交叉引用插入参考文献
  • rongfzh1990
  • rongfzh1990
  • 2017年03月27日 14:34
  • 2612
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:lstm 来源结构参考文献 浅谈
举报原因:
原因补充:

(最多只允许输入30个字)