循环神经网络

卷积神经网络，应用于图像处理，控制参数的量，减少过拟合
RNN更适用于自然语言处理，语音识别等序列任务，行为序列、时间序列

RNN基于神经网络的变化

传统神经网络输入的特征和输出都是独立的

St是t时刻的记忆
St=f(UXt + WS(t-1))
f可以是tanh等
Ot是t时刻的输出
Ot=softmax(V(St))

不同类型RNN

双向RNN、深层双向RNN

Lstm

相比较RNN改变了记忆细胞
细胞状态C(t-1),通过“门“过滤信息，在细胞状态上增加或者删除信息
包括sigmoid神经网络层做非线性映射和一个向量点乘
sigmoid输出0-1之间的概率值，1允许计入C(t)

关键的”门“

1. 忘记门
   
2. 更新门
3. 输出门

Lstm的简化版本–GRU

降低了复杂度，合并忘记门和输入门为更新门