RNN是如何提取文本特征的？

将循环核按照时间步展开，每一时刻输入的都是一个token，每次输入一个token，每次计算不改变W权重的值，只改变的是记忆体ht中的值。

根据倒数第二行的计算公式，我们可以看到，ht的值由上一时刻h t-1的值，和这一时刻输入的值共同决定。因此，ht是综合了上一时刻记忆体中的信息（之前输入总结出的信息）和当前时刻输入信息的特征。

因此，正如最后一行的总结，RNN是借助循环核提取了与时间有关的特征的。

它采取线性序列结构不断从前往后收集输入信息，但这种线性序列结构在反向传播的时候存在优化困难问题，因为反向传播路径太长，容易导致严重的梯度消失或梯度爆炸问题。为了解决这个问题，后来引入了 LSTM 和 GRU 模型，通过增加中间状态信息直接向后传播，以此缓解梯度消失问题，获得了很好的效果，于是很快 LSTM 和 GRU 成为 RNN 的标准模型。
该段参考。