循环神经网络

独热编码

独热编码特点是根据词汇总数，来决定向量的维度，其中一个维度是1，其余均为0.

当然我们也可以采用词哈希的形式进行向量的表示，以apple为例，，其中app,ppl,ple的维度是1，其余均为0.

举一个例子，我在6月1日离开上海，6月1日到达上海，我们根据上海这个词向量没有办法判断是目的地，还是出发点，我们需要考虑整句话的语义。

什么是RNN

RNN是一种由记忆的网络，通常会把隐藏层的输出存入记忆单元，在下一层输入时，不仅仅要考虑输入的信息，还要考虑记忆单元的信息。记忆元简称单元，记忆元的值被称为隐状态。

假设所有激活函数都是线性的，所有的权重都是1，输入序列为[1,1],[1,1],[2,2].

可以计算出三次的输出值分别是[4,4]，【12，12】，【32，32】

RNN的架构

输入信息上海相同，但是记忆元的值不一样，导致其输出结果不同

其他RNN的架构

Elman网络和Jordan网络

双向循环网络

循环网络在进行某一输入的预测时，他考虑的是前面的记忆元的值，但是却没有办法联系后面的句子，即他只能去实现半句话的联系做出输出。双向循环网络则可以解决这个问题。

比如xt+1，从正向输入和反相输入，刚好考虑了整个语句，其语义分析更加充分，效果往往会更好。

LSTM

LSTM可以看作是一种三门，四输入，一输出的模型，其中输入分为三种信号和一种输入信息