1.24CNN（基本框架），RNN（简单RNN,LSTM,GRU简要)两个参考论文

目录

CNN 

RNN 

3种RNN模型 

简单RNN

LSTM （长短期记忆模型）

GRU

参考论文 

---

CNN 

CNN是卷积神经网络

 

提取图片特征

、

在输出阶段可以使用sigmoid函数返回01值

RNN 

3种RNN模型 

简单RNN

 

 

 

 

 H就是每层神经元所产生的一个输出信号，输出层产生的信号经过输出函数转化为最终输出

随着循环次数的增加 

 

 

 

 就是说简单的RNN模型容易导致梯度消失以及梯度爆炸的问题

整体框架类似于数电里的状态机、时序逻辑电路

LSTM （长短期记忆模型）

 

S函数返回0到1，T函数返回-1到1 

 

而T 

 

 

当遗忘门值为0时，意味着上期记忆完全遗忘 ；为1时，完全保留

输入们用来更新记忆

 

简单RNN种

 

 

GRU

更新门与重置门 

 

 

 http://colah.github.io/posts/2015-08-Understanding-LSTMs/
https://arxiv.org/pdf/1412.3555v1.pdf

参考论文