LSTM神经网络

原创 2017年08月03日 21:21:52

LSTM是什么

LSTM即Long Short Memory Network,长短时记忆网络。它其实是属于RNN的一种变种,可以说它是为了克服RNN无法很好处理远距离依赖而提出的。

我们说RNN不能处理距离较远的序列是因为训练时很有可能会出现梯度消失,即通过下面的公式训练时很可能会发生指数缩小,让RNN失去了对较远时刻的感知能力。

EW=tEtW=tk=0Etnettnettst(tj=k+1stsk)skW

解决思路

RNN梯度消失不应该是由我们学习怎么去避免,而应该通过改良让循环神经网络自己具备避免梯度消失的特性,从而让循环神经网络自身具备处理长期序列依赖的能力。

RNN的状态计算公式为St=f(St1,xt),根据链式求导法则会导致梯度变为连乘的形式,而sigmoid小于1会让连乘小得很快。为了解决这个问题,科学家采用了累加的形式,St=tτ=1ΔSτ,其导数也为累加,从而避免梯度消失。LSTM即是使用了累加形式,但它的实现较复杂,下面进行介绍。

LSTM模型

回顾一下RNN的模型,如下图,展开后多个时刻隐层互相连接,而所有循环神经网络都有一个重复的网络模块,RNN的重复网络模块很简单,如下下图,比如只有一个tanh层。
这里写图片描述

这里写图片描述

而LSTM的重复网络模块的结构则复杂很多,它实现了三个门计算,即遗忘门、输入门和输出门。每个门负责是事情不一样,遗忘门负责决定保留多少上一时刻的单元状态到当前时刻的单元状态;输入门负责决定保留多少当前时刻的输入到当前时刻的单元状态;输出门负责决定当前时刻的单元状态有多少输出。

这里写图片描述

每个LSTM包含了三个输入,即上时刻的单元状态、上时刻LSTM的输出和当前时刻输入。

LSTM的机制

这里写图片描述

根据上图咱们一步一步来看LSTM神经网络是怎么运作的。

首先看遗忘门,用来计算哪些信息需要忘记,通过sigmoid处理后为0到1的值,1表示全部保留,0表示全部忘记,于是有

ft=σ(Wf[ht1,xt]+bf)

其中中括号表示两个向量相连合并,Wf是遗忘门的权重矩阵,σ为sigmoid函数,bf为遗忘门的偏置项。设输入层维度为dx,隐藏层维度为dh,上面的状态维度为dc,则Wf的维度为dc×(dh+dx)

这里写图片描述

其次看输入门,输入门用来计算哪些信息保存到状态单元中,分两部分,第一部分为

it=σ(Wi[ht1,xt]+bi)

该部分可以看成当前输入有多少是需要保存到单元状态的。第二部分为

c~t=tanh(Wc[ht1,xt]+bc)

该部分可以看成当前输入产生的新信息来添加到单元状态中。结合这两部分来创建一个新记忆。

这里写图片描述

而当前时刻的单元状态由遗忘门输入和上一时刻状态的积加上输入门两部分的积,即

ct=ftct1+itc~t

这里写图片描述

最后看看输出门,通过sigmoid函数计算需要输出哪些信息,再乘以当前单元状态通过tanh函数的值,得到输出。

ot=σ(Wo[ht1,xt]+bo)

ht=ottanh(ct)

这里写图片描述

LSTM的训练

化繁为简,这里只讨论包含一个LSTM层的三层神经网络(如果有多个层则误差项除了沿时间反向传播外,还会向上一层传播),LSTM向前传播时与三个门相关的公式如下,

ft=σ(Wf[ht1,xt]+bf)

it=σ(Wi[ht1,xt]+bi)

c~t=tanh(Wc[ht1,xt]+bc)

ct=ftct1+itc~t

ot=σ(Wo[ht1,xt]+bo)

ht=ottanh(ct)

需要学习的参数挺多的,同时也可以看到LSTM的输出ht有四个输入分量加权影响,即三个门相关的ftitc~tot,而且其中权重W都是拼接的,所以在学习时需要分割出来,即
Wf=Wfx+Wfh

Wi=Wix+Wih

Wc~=Wc~x+Wc~h

Wo=Wox+Woh

输出层的输入yit=Wyiht,输出为yot=σ(yit)

设某时刻的损失函数为Et=12(ydyot)2,则某样本的损失为

E=Tt=1Et

设当前时刻t的误差项δt=Eht,那么误差沿着时间反向传递则需要计算t-1时刻的误差项δt1,则

δt1=Eht1=Ehththt1=δththt1

LSTM的输出ht可看成是一个复合函数,f[ft(ht1),it(ht1),c~t(ht1),ot(ht1)],由全导数公式有,

htht1=htctctftftnetf,tnetf,tht1+htctctititneti,tneti,tht1+htctctc~tc~tnetc~,tnetc~,tht1+htototneto,tneto,tht1

其中netf,tneti,tnetc~,tneto,t表示对应函数的输入。将上述所有偏导都求出来,

htct=ot(1tanh(ct)2)ctft=ct1ftnetf,t=ft(1ft)netf,tht1=Wfh

同样地,其他也可以求出来,最后得到t时刻和t-1时刻之间的关系。再设

δf,t=Enetf,tδi,t=Eneti,tδc~,t=Enetc~,tδo,t=Eneto,t

得到,
δt1=δf,tWfh+δi,tWih+δc~,tWch+δo,tWoh

接着对某时刻t的所有权重进行求偏导,

EWfh,t=Enetf,tnetf,tWfh,t=δf,tht1

EWih,t=Eneti,tneti,tWih,t=δi,tht1

EWch,t=Enetc~,tnetc~,tWch,t=δc~,tht1

EWoh,t=Eneto,tneto,tWoh,t=δo,tht1

EWfx=Enetf,tnetf,tWfx=δf,txt

EWix=Eneti,tneti,tWix=δi,txt

EWcx=Enetc~,tnetc~,tWcx=δc~,txt

EWox=Eneto,tneto,tWox=δo,txt

Ebo,t=Eneto,tneto,tbo,t=δo,t

Ebf,t=Enetf,tnetf,tbf,t=δf,t

Ebi,t=Eneti,tneti,tbi,t=δi,t

Ebc,t=Enetc~,tnetc~,tbc,t=δc~,t

对于整个样本,它的误差是所有时刻的误差之和,而与上个时刻相关的权重的梯度等于所有时刻的梯度之和,其他权重则不必累加,最终得到

EWfh=j=1tδf,jhj1

EWih=j=1tδi,jhj1

EWch=j=1tδc~,jhj1

EWoh=j=1tδo,jhj1

Ebf=j=1tδf,j

Ebi=j=1tδi,j

Ebc=j=1tδc~,j

Ebo=j=1tδo,j

EWfx=Enetf,tnetf,tWfx=δf,txt

EWix=Eneti,tneti,tWix=δi,txt

EWcx=Enetc~,tnetc~,tWcx=δc~,txt

EWox=Eneto,tneto,tWox=δo,txt

相关阅读:
循环神经网络
卷积神经网络
机器学习之神经网络
机器学习之感知器
神经网络的交叉熵损失函数

========广告时间========

鄙人的新书《Tomcat内核设计剖析》已经在京东销售了,有需要的朋友可以到 https://item.jd.com/12185360.html 进行预定。感谢各位朋友。

为什么写《Tomcat内核设计剖析》

=========================

欢迎关注:

这里写图片描述

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

(Unfinished)RNN-循环神经网络之LSTM和GRU-04介绍及推导

(Unfinished)尚未完成 一、说明 关于LSTM的cell结构和一些计算在之前已经介绍了,可以点击这里查看本篇博客主要涉及一下内容: LSTM前向计算说明(之前的博客中LST...

为什么写《Tomcat内核设计剖析》

三四年前更多地还是做web业务开发,基本不关心web层以下的东西,但是每次出故障时面对现象都不能从脑子里形成由底层到应用层的完整的逻辑,往往只能分析到Web应用就无法继续往下,Web容器完全就是一个黑...

Recurrent Neural Networks Tutorial, Part 1 – Introduction to RNNs

Recurrent Neural Networks (RNNs) are popular models that have shown great promise in many NLP tasks....

您当前位置 -> 业务主营        北京吉卉繁花木销售中心成立于2003年,是一家专注于绿植租摆、花卉租赁及园林绿化的大型绿植服务机构。电话:152...

神经网络的交叉熵损失函数

常见损失函数 0-1损失函数 L(Y,f(X))={1,0Y != f(X)Y = f(X)L(Y,f(X))=\begin{cases}1,& \text{Y != f(X)}\\0& \text...

GRU神经网络

前面已经详细讲了LSTM神经网络(文末有链接回去),接着往下讲讲LSTM的一个很流行的变体。GRU是什么GRU即Gated Recurrent Unit。前面说到为了克服RNN无法很好处理远距离依赖而...

RNN以及LSTM的介绍和公式梳理

目录(?)[+] 前言 好久没用正儿八经地写博客了,csdn居然也有了markdown的编辑器了,最近花了不少时间看RNN以及LSTM的论文,在组内『夜校』分享过了,再在这里总结一下发出来吧,按照...

LSTM神经网络 和 GRU神经网络

LSTM是什么 LSTM即Long Short Memory Network,长短时记忆网络。它其实是属于RNN的一种变种,可以说它是为了克服RNN无法很好处理远距离依赖而提出的。 我们说...

系统学习机器学习之神经网络(二) --MLP实现及源码分析

转自:http://blog.csdn.net/zhaocj/article/details/52747924 一、原理 神经网络(Neural Networks)是一种模仿生物神经系统的机器学习算法...

论文笔记:Residual Attention Network for Image Classification

深度学习中的Attention,源自于人脑的注意力机制,当人的大脑接受到外部信息,如视觉信息、听觉信息时,往往不会对全部信息进行处理和理解,而只会将注意力集中在部分显著或者感兴趣的信息上,这样有助于滤...
  • wspba
  • wspba
  • 2017-06-25 21:58
  • 1836
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)