深度学习 第六章 RNN循环神经网络

深度学习入门视频-唐宇迪 （笔记加自我整理）

深度学习 第六章 RNN循环神经网络

1.RNN

         RNN循环神经网络，重点在循环两字上面。和典型神经网络一样，也是由输入层、隐含层、输出层构成。和大部分神经往不同，RNN输入的是序列。对比Word2vec的CBOW，虽然输入的都是带有前后关系的样本，不同的是Word2Vec的CBOW输入的上下文单词数据，需要预测中心位置单词的是正确单词的概率，像选词填句。而RNN输入的是一个完整的序列，不需要预测中间结果，比如可以是输入一段话，预测这一段话表达的情感是消极还是积极的，也可以预测下一个单词是什么（RNN最后位置 vs CBOW中间位置），而且RNN是没有词向量作为副产品产出，训练完成得到的只有一个模型（权重参数）。

       下面是一个比较经典的RNN结构，左边是未展开样子，输入为Xt，A表示隐含层，ht表示经由第t词计算得到的中间结构，右图是展开的样子，两者表达的意义是一样的。

        可以用学习的过程来解释RNN过程，比如学习深度学习这课程，第一天学习，第二天学习，第三天学习，每一天学习的效果是由历史的积累和当前学习到的内容共同决定的，越到后面学习的效果越是叠加的。（人的大脑容量也是有限的，所以会出现某些知识点被记住，某些知识点被忘记，而LSTM模型和大脑记忆的不同时，LSTM是自己选择性遗忘和记忆，大脑有点不受控。）