LSTM& RNN模型学习（principle & practice）

这个月忙着毕设 ， 做的是森林覆盖率的预测 使用的深度学习模型LSTM 之前是小白（虽说现在也是） 趁着有时间 就把今天学习的内容 巩固回顾一下好了

1.RNN(Recurrent Neural Network)

• 首先想说，LSTM其实是RNN的一个变种，由于其解决了rnn网络模型的某些问题，更加广泛应用，因此大范围情况下主要使用的是LSTM.先从RNN介绍
• RNN:拿说话举例子：如果需要预测下一句话要说的内容，肯定需要对当前的词语来进行推断，因此需要记得当前和之前说过的话。传统的神经网络无法完成这一任务，但是RNN可以解决。RNN包含循环的网络，允许信息持久化。
  
• 单个RNN循环 ：该神经网络模块A ,根据输入的前一个循环信息$A_{t-1}$和$X_t$ 并且经过激活函数输出一个当前值$h_t$。其实RNN可以被堪称是同一神经网络的多次迭代，每个模块将信息传递给下一个，将其循环展开得到：

• 在过去几年 ，rnn在语音识别 语言建模 翻译 图片描述中获得成功 建议参考这篇博文 了解一下rnn的应用

RNN前向传播算法推导：

RNN反向传播算法

长期依赖问题(long term dependencies)

• 在简单的应用场景可以使用RNN实现，如 i am chinese.i love china.接下来的单词rnn预测是china 因此可以很简单的预测出来。
  

LSTM model

• 标准rnn只有单一层
  
• LSTM MODEL重复层包括4个交互层

CORE IDEAS

• 关键是细胞状态。我们可以看作$C_{t-1}$保存当前输入$x_t$之前的状态$h_{t-1}$
  设计了一个gate 来控制信息的增加和减少

• LSTM拥有三个门 input gate output gate forget gate

first step

决定从细胞状态中遗忘哪些信息 由forget gate决定 其根据$h_{t-1}$ & $x_t$来输出一个0-1之间的值给每个$c_{t-1}$的细胞状态 0表示遗忘 1表示记住
equation：$f_t=\sigma (W_f\ast [h_{t-1},x_t]+b_f)$

second step

决定何种信息被存储 分成2step

part 1

• 通过input gate的sigmoid层决定更新何种值
• 再由tanh层通过$h_{t-1}$和$x_t$ 得到新的候选向量$\widetilde{C_t}$
  
  $i_t=\sigma (W_f\ast [h_{t-1,x_t}]+b_f)$
  $\widetilde{C_t}=(W_c\ast [h_{t-1,x_t}]+b_c)$

part 2

• 根据上一步得到的$\widetilde{C_t},i_t$以及forget gate得到的$C_{t-1}$的值 就可以更新细胞状态了：包含两部分 1.通过遗忘门的$C_{t-1}$和$f_t$的相乘 2.经过input gate的$i_t$和$\widetilde{C_t}$之间的处理

Equation:$C_t=C_{t-1}\ast f_t+i_t\ast \widetilde{C_t}$

last step

• 决定输出值 该值由$C_t$和输出门过滤的结果

• 1.将输出层的值通过sigmoid层过滤得到$o_t$
• 2.$c_t$通过tanh层过滤使得值保持在[-1,1]
• 3.将前两项相乘即可
  $o_t=\sigma (W_0[h_{t-1},x_t])$
  $h_t=o_t\ast tanh(c_t)$

实现部分参考这篇github

tensorflow基础教程