《深度学习》之 循环神经网络 原理 超详解

循环神经网络

一.研究背景

• 1933年，西班牙神经生物学家Rafael Lorente de Nó发现大脑皮层（cerebral cortex）的解剖结构允许刺激在神经回路中循环传递，并由此提出反响回路假设（reverberating circuit hypothesis）
• 1982年，美国学者John Hopfield基于Little (1974) [12] 的神经数学模型使用二元节点建立了具有结合存储（content-addressable memory）能力的神经网络，即Hopfield神经网络
• 1986年，Michael I. Jordan基于Hopfield网络的结合存储概念，在分布式并行处理（parallel distributed processing）理论下建立了新的循环神经网络，即Jordan网络，也被称为简单循环网络
• 1989年，Ronald Williams和David Zipser提出了循环神经网络的实时循环学习（Real-Time Recurrent Learning, RTRL） [20] 。随后Paul Werbos在1990年提出了循环神经网络的随时间反向传播（BP Through Time，BPTT） [21] ，RTRL和BPTT被沿用至今，是循环神经网络进行学习的主要方法
• 1991年，Sepp Hochreiter发现了循环神经网络的长期依赖问题（long-term dependencies problem），即在对序列进行学习时，循环神经网络会出现梯度消失（gradient vanishing）和梯度爆炸（gr