深度学习入门视频-唐宇迪 (笔记加自我整理)
深度学习 第六章 RNN循环神经网络
1.RNN
RNN循环神经网络,重点在循环两字上面。和典型神经网络一样,也是由输入层、隐含层、输出层构成。和大部分神经往不同,RNN输入的是序列。对比Word2vec的CBOW,虽然输入的都是带有前后关系的样本,不同的是Word2Vec的CBOW输入的上下文单词数据,需要预测中心位置单词的是正确单词的概率,像选词填句。而RNN输入的是一个完整的序列,不需要预测中间结果,比如可以是输入一段话,预测这一段话表达的情感是消极还是积极的,也可以预测下一个单词是什么(RNN最后位置 vs CBOW中间位置),而且RNN是没有词向量作为副产品产出,训练完成得到的只有一个模型(权重参数)。
下面是一个比较经典的RNN结构,左边是未展开样子,输入为Xt,A表示隐含层,ht表示经由第t词计算得到的中间结构,右图是展开的样子,两者表达的意义是一样的。
可以用学习的过程来解释RNN过程,比如学习深度学习这课程,第一天学习,第二天学习,第三天学习,每一天学习的效果是由历史的积累和当前学习到的内容共同决定的,越到后面学习的效果越是叠加的。(人的大脑容量也是有限的,所以会出现某些知识点被记住,某些知识点被忘记,而LSTM模型和大脑记忆的不同时,LSTM是自己选择性遗忘和记忆,大脑有点不受控。)