算法基础——递归神经网络RNN

CNN主要用于CV领域，RNN主要用于NLP领域，RNN的输入数据是文本数据。

 假设   t1 时刻，有输入x1进入隐藏层，得到特征h1，h1会返回和 t2 时刻的输入x2一起输入隐藏层，得到特征h2，h2接着返回，依次类推，前一层的输出结果保留下来，参与下一层的运算。RNN网络考虑时间序列的一些事情，不同时刻的输出都有一定的联系。 

 

在RNN中，信息只在一个方向上移动。当它作出决定时，会考虑当前的输入以及它从之前收到的输入中学到的内容。

 ht 是前面所有的中间特征综合起来得到的结果，我们需要的结果是最后输出 ht，不是中间结果h1，h2.....等。

传统神经网络将权重矩阵分配给其输入，然后生成输出。RNN将权重应用于当前以及之前的输入。此外，他们还通过梯度下降和反向传播时间调整权重。

输入随机初始化为50维的向量，权重参数w也是随机初始化的。