cs231n（6）

循环神经网络RNN
回顾：多层感知机、卷积神经网络、梯度下降与反向传播、激活函数
循环神经网络用于解决自然语言处理、视频分类、语音识别、文本情感分析等序列数据问题，它特有的时间维度展开机制可以保留记忆，但同时也使得沿时间的反向传播容易出现梯度消失和梯度爆炸现象。
本节课，我们将深入理解循环神经网络RNN的基本原理，并了解它在自然语言处理、图像描述的广泛应用。并介绍两种循环神经网络变体：长短时记忆神经网络LSTM和门控循环单元GRU，以及注意力机制。