深度学习：RNN学习

在深度学习里经常听到CNN、RNN、概率图模型、深度信念等奇怪的词汇，刀哥最近一段时间就来说道一下。

什么是RNN呢？

循环神经网络是1986年Rumelhart等人提出的用于出来序列数据的神经网络，一般认为它可以拓展到更长的序列，大部分循环神经网络都是序列可变长的。

我们来看一下RNN需要应对的问题，假设存在一个时间序列的函数前一刻的输出结果影响下一刻的输出。

这种问题可在以下方面上容易遇到：

1.自然语言处理

2.机器翻译

3.语音识别

4.实时三维重建

遇到这种问题要怎么解决呢?

首先我们先把时间序列的函数关系搞清楚：

在一个有限长序列中，前一时刻的结果影响下一时刻。假设我们在这种规律下加入输入：

理论上说，这是最简单的前馈循环神经网络。

说完基本概念，我们来说说RNN的几种基本类型：

1.每个时间步都有输出，并且隐藏单元之间有循环链接的循环网络。

2.每个时间不都产生一个输出，