NLP学习笔记 之RNN SLTM GRUs

这学期开始学习nlp 准备开个专题 记录下学习过程， 今天来讲讲 rnn。 大家都知道 cnn在cv大放异彩，rnn则在 nlp领域被广泛使用。

RNN 适合处理序列的神经网络，序列的意思打个比方就是一个词汇他的意思是随着上下文变化的。

y 则常常使用 h’ 投入到一个线性层（主要是进行维度映射）然后使用softmax进行分类得到需要的数据。

Vanishing gradient

tanh: tanh是双曲函数中的一个，tanh为双曲正切。在数学中，双曲正切“tanh”是由双曲正弦和双曲余弦这两种基本双曲函数推导而来。

If x not in [-2,2 ] gradient is almost 0