循环神经网络是一类常用在序列数据上的人工神经网络。三种最常见的循环神经网络分别是:
1.维尼拉循环神经网络(vanilla RNN)
2.长短期记忆网络(LSTM),由Hochreiter和Schmidhuber于1997年提出
3.门控循环单元网络(GRU),由Cho等人于2014年提出
现在可以查到许多解释循环神经网络这一概念的图示。不过我个人比较推荐的是Michael Nguyen在《迈向数据科学》上发表的这篇文章,因为这篇文章撰写了关于这些模型的很多知识,而且提供了清楚易懂的插图,易于读者理解。这篇文章目的是启发大家思考如何更好地可视化这些单元中发生的情况,节点是如何共享的,以及它们怎么转换为输出节点这些问题。Michael 的精彩动画也给了我很大的启发,从中受益匪浅。