一天搞懂深度学习—学习笔记3（RNN）_rnn隐藏层初始化-CSDN博客

本文链接：https://blog.csdn.net/u013735511/article/details/78233390

本文介绍了循环神经网络(RNN)的基本概念，包括如何对词语建模，RNN的结构和工作原理，以及RNN在网络展开后的层与层之间的关系。RNN主要用于NLP领域，因其能够捕捉语义上下文信息。文中还提及了LSTM（长短期记忆网络）在RNN中的重要角色，以及其Forget Gate如何帮助保留信息。

摘要由CSDN通过智能技术生成

Recurrent Neural Network（RNN） （Neural Network with Memory）

1.一些基本的理解

开场首先来个填词题目，I would like to arrive at (Taipei) on (November 2nd). 我们人来填的话，很简单就能想到第一个空是地点，第二个是时间。那么对于计算机，它该如何处理这样的内容呢。

首先第一个要解决的是表示形式。
在语言中，最基本的是字，然后由字可以组成词语，词语可以连成句子，那么问题就变得简单了，只要我们能表示一个词语，并让计算机识别这个词语，那么就可以表示这样一个句子。不过在自然语言中，一个字表达的意思往往不够清楚，因此主要选择对词语进行建模，然后连词成句，当然也可以对字进行建模，不过数量上应该少很多。

怎样对词语建模呢
如果了解work2vec的工作原理，那这个问题就很简单了。work2vec将句子先拆分成词语，首先建立词语库，对每一个词语初始化100、200甚至更高维度的词向量，注意到，这里的词向量是需要先初始化的，然后在不断的训练中得到最优词向量。
（有一种编码方式叫做独热编码one-hot encoding, 具体内容查看下面网址，个人觉得这个讲的比其它的好 http://www.wy