lstm 根据前文预测词_从RNN到LSTM、BiLSTM，用最通俗的话和最生动的图为您解读！...

为大家介绍了一篇基于BiLSTM的反向词典系统文章，清华华为发布“万词王”反向词典系统，入选AAAI 2020 。 由于篇幅原因，模型的基础知识部分被我们简单地一笔带过了。 今天，小编决定将整理的一些RNN、LSTM、BiLSTM模型知识尽可能地放在这篇文章里，感谢各位原作者大大的贡献。

RNN

AI识别你的语音、回答你的问题、帮你翻译外语，都离不开一种特殊的循环神经网络-RNN(Recurrent Neural Networks)： 人类并不是每时每刻都从一片空白的大脑开始他们的思考。 当你在阅读这篇文章时，你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。 我们不会将所有的东西都全部丢弃，然后用空白的大脑进行思考。 我们的思想拥有持久性。 传统的神经网络并不能做到这点，看起来也像是一种巨大的弊端。 例如，假设你希望对电影中的每个时间点的时间类型进行分类。 传统的神经网络应该很难来处理这个问题——使用电影中先前的事件推断后续的事件。 RNN 解决了这个问题。 RNN 是包含循环的网络，允许信息的持久化。 在处理时，它把先前的隐藏状态传递给序列的下一步，其中隐藏状态作为神经网络记忆， 它包含相关网络已处理数据的信息。 将输入的信息和先前隐藏状态组合成一个向量，向量中含有当前输入和先前输入的信息。 这个向量再经过激活函数Tanh后，输出新的隐藏状态，或网络记忆。 激活函数Tanh用于帮助 调节流经网络的值，且Tanh函数的输出值始终在区间(-1, 1)内。 当向量流经神经网络时，由于存在各种数学运算，它经历了许多变换。 因此，想象下让一个值不断乘以3，它会逐渐变大并变成天文数字，这会让其他值看起来微不足道。 Tanh函数能让输出位于区间(-1, 1)内，从而调节神经网络输出。 你可以看到这些值是如何保持在Tanh函数的允许范围内。 有时候，我们仅仅需要知道先前的信息来执行当前的任务。 例如，我们有一个语言模型用来基于先前的词来预测下一个词。 如果我们试着预测 “the clouds are in the sky” 最后的词，我们并不需