RNN自学

数据

词向量模型

目的：给一个单词的输入，希望预测周边单词出现的概率，使得想近意思的单词能够互相表示。
1-hot vector：来表示某一个词，只需要在指定的位置上置1。
常用Word2vec模型：continuous bag of words model（5，6年前的方法，只是对单词进行建模，没有考虑先后顺序），通过多个单词来预测某一个单词

循环神经网络

概念：是实现条件概率模型的一个例子。引入时序的概念，具有不同的时刻，每个时刻利用上一个时刻隐含层的信息。（无形之中相当于增加了隐含层的深度）

LSTM

用来消除梯度消失。

I O F门是一个控制信号，都是一样的，控制多少信息用来流出。
Cell用来保留信息。

GRU