【自然语言处理一】Simple RNN与 LSTM模型

Simple RNN 模型

其中
St = f(U * xt + W * St-1 + b)，f 是激活函数，一般用到的是 tanh。
Ot = g(V * St + b)

LSTM模型

Simple RNN会有遗忘问题。为了解决这个问题，提出了LSTM模型。LSTM模型分为遗忘门，输入门，newvalue，输出门构成。这里就不列出具体的计算公式了。

LSTM在keras的具体实现代码

model.add(LSTM(state_dim, return_sequences=False))

return_state为false时，只返回最后一个输出，为true时，返回之前的全部输出。
return_sequences为false时，只返回输出，不返回状态。为true时，会返回状态。

LSTM模型相比于Simple RNN 模型,可以较好的解决遗忘问题。