深度学习——循环神经网络（RNN）

一、首先我们了解一下神经网络基础：

神经网络我们可以当做是能够拟合任意函数的黑盒子，只要训练数据足够，给定特定的x，就能得到希望的y，神经网络结构图如下：

 将神经网络模型训练好之后，在输入层给定一个x，通过网络之后就能够在输出层得到特定的y，大致了解网络模型之后，我们接下来分析一下RNN（循环神经网络）

二、循环神经网络的作用

       当我们在理解一句话意思时，孤立的理解这句话的每个词是不够的，我们需要处理这些词连接起来的整个序列； 当我们处理视频的时候，我们也不能只单独的去分析每一帧，而要分析这些帧连接起来的整个序列。

以nlp的一个最简单词性标注任务来说，将我 吃 苹果 三个单词标注词性为 我/nn 吃/v 苹果/nn。

那么这个任务的输入就是：我   吃  苹果 （已经分词好的句子）

这个任务的输出是：我 / nn 吃 / v 苹果/nn(词性标注好的句子)

对于这个任务来说，我们当然可以直接用普通的神经网络来做，给网络的训练数据格式了就是我-> 我/nn 这样的多个单独的单词->词性标注好的单词。

但是很明显，一个句子中，前一个单词其实对于当前单词的词性预测是有很大影响的，比如预测苹果的时候，由于前面的吃是一个动词，那么很显然苹果作为名词的概率就会远大于动词的概率，因为动词后面接名词很常见，而动词后面接动词很少见。

为了解决一些这样类似的问题，能够更好的处理序列的信息，RNN就诞生了。

三、RNN结构

3.1 简单的循环神经网络

它由输入层、一个隐藏层和一个输出层组成：

                               

       如果把上面有W的那个带箭头的圈去掉，它就变成了最普通的全连接神经网络。x是一个向量，它表示输入层的值（这里面没有画出来表示神经元节点的圆圈）；s是一个向量，它表示隐藏层的值（这里隐藏层面画了一个节点，你也可以想象这一层其实是多个节点，节点数与向量s的维度相同）；U是输入层到隐藏层的权重矩阵，o也是一个向量，它表示输出层的值；V是隐藏层到输出层的权重矩阵。那么，现在我们来看看W是什么。循环神经网络的隐藏层的值s不仅仅取决于当前这次的输入x，还取决于上一次隐藏层的值s。权重矩阵 W就是隐藏层上一次的值作为这一次的输入的权重。

对应的具体图：

 我们把上面的图展开(RNN时间线展开图)：

网络在t时刻接收到输入​之后，隐藏层的值是​​​​​​​​​​​​​​，输出值是​​​​​​​关键一点是，的值不仅仅取决于，还取决于​​​​​​​。我们可以用下面的公式来表示循环神经网络的计算方法：

                                        

以上只是RNN最基本的几个知识点，后续再更新。