RNN
上下文推理,处理时间序列。
LSTM(加入了三个门)
遗忘门
输入门
输出门
当前单元状态
当前时刻的隐层输出:
施密德胡贝尔发明了长时和短时记忆网络(LSTM):"你可以用五行代码写它."神经网络需要数百万次计算,而LSTM的代码旨在找到有趣的相关性:在数据分析中添加时间文本内容,记住之前发生的事情,然后将其应用于神经网络,观察与神经网络中接下来发生的事情的联系,然后得出结论。
这种精巧而复杂的设计使人工智能能够自我发展,自己得出结论,发展成一个更大的系统,在学习大量文本的基础上成为现实,实现了对语言细微差异的自我学习。
施密德胡伯将类似的人工智能训练比作人脑的筛选模式,即长期记忆会记住重要的时刻,而常规时刻会消失。
GRU
减少了门和输出。
对于 LSTM 与 GRU 而言, 由于 GRU 参数更少,收敛速度更快,因此其实际花费时间要少很多,这可以大大加速了我们的迭代过程。
而从表现上讲,二者之间孰优孰劣并没有定论,这要依据