本文介绍了循环神经网络（RNN）、长短期记忆网络（LSTM）、门控循环单元（GRU）以及双向RNN的基本原理和区别。LSTM通过遗忘门、输入门和输出门处理时间序列数据，而GRU以较少的参数实现类似效果。在实际应用中，选择LSTM或GRU需依据任务和数据集。双向RNN结合正向和反向信息增强表示。最后强调理解基础单元的重要性，并指出Transformer在某些情况下可能优于RNN。
RNN
上下文推理，处理时间序列。
LSTM(加入了三个门）
遗忘门
输入门
输出门
当前单元状态
当前时刻的隐层输出：
施密德胡贝尔发明了长时和短时记忆网络(LSTM)："你可以用五行代码写它."神经网络需要数百万次计算，而LSTM的代码旨在找到有趣的相关性:在数据分析中添加时间文本内容，记住之前发生的事情，然后将其应用于神经网络，观察与神经网络中接下来发生的事情的联系，然后得出结论。
这种精巧而复杂的设计使人工智能能够自我发展，自己得出结论，发展成一个更大的系统，在学习大量文本的基础上成为现实，实现了对语言细微差异的自我学习。
施密德胡伯将类似的人工智能训练比作人脑的筛选模式，即长期记忆会记住重要的时刻，而常规时刻会消失。
GRU
减少了门和输出。
对于 LSTM 与 GRU 而言， 由于 GRU 参数更少，收敛速度更快，因此其实际花费时间要少很多，这可以大大加速了我们的迭代过程。
而从表现上讲，二者之间孰优孰劣并没有定论，这要依据
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
