一步一步分析讲解深度神经网络基础-Recurrent Neural Networks

我们知道在现实生活中，我们的数据往往和时间相关。 Time-Series Data就是说时间序列数据。
我们身体里的基因也是一种序列。
the data of a genome sequence- where every sequence has a different meaning.
基因组序列的数据，其中每个序列具有不同的含义。
而RNNs是处理Time-Series Data最新的一系列的人工神经网络技术。今天，我们来入门最简单的RNN模型。

1，RNNs能做什么？

在深入研究循环神经网络的细节之前，让我们思考一下，如果我们确实需要一个专门用于处理信息序列的网络。 还有什么样的任务能够用到这样的网络？

循环神经网络的优点在于其应用的多样性。 当我们处理RNN时，他们有很强的处理各种输入和输出类型的能力。

• Sentiment Classification - 这可以是简单地将tweets 分为积极和消极情绪的任务。
  所以这里的输入是一个不同长度的推文，而输出是固定的类型和大小。

• Image Captioning - 在这里，假设我们有一个需要文字描述的图像。 所以我们有一个单一图像，一系列或一系列的单词作为输出。 这里的图像可能是固定的大小，但输出是不同长度的描述。

• Language Translation - 这基本上意味着我们有一些特定语言的文本，我们说英语，我们希望用法语翻译它。
  每种语言都有它自己的语义，并且对于相同的句子将具有不同的长度。 所以这里输入和输出的长度是不同的。

因此，RNN可用于将输入映射到不同类型，不同长度的输出，并且在其应用中相当普遍。 看看他们的应用，让我们看看RNN的架构是怎样的。

2，什么是循环神经网络？

假设任务是预测句子中的下一个单词。让我们尝试使用MLP来完成它。那么在MLP中会发生什么？最简单的形式，我们有一个输入层，一个隐藏层和一个输出层。输入层接收输入，应用隐藏层激活，然后我们最终接收输出。参考一步一步理解自然语言处理之word2vec工具相关算法演进

让我们有一个更深的网络，其中存在多个hidden layers。因此，在这里，输入层接收输入，首先应用hidden layer激活，然后将这些激活发送到下一个hidden layer，并通过层连续激活以产生输出。每个hidden layers都有自己的 weights 和 biases。

由于每个隐藏层都有自己的权重和激活，所以它们的行为是独立的。我们期待的结果是连续输入之间有关系的序列。我们可以提供隐藏层的输入吗？我们可以！

这里，这些隐藏层的权重和biases是不同的。因此，这些层中的每一个都独立行为，不能组合在一起。为了将这些隐藏层结合在一起，我们将对这些hidden layers具有相同的权重和biases。

现在我们可以将这些层合并在一起，所有隐藏层的权重和偏差是相同的。所有这些隐藏的层可以在一个单一的循环层中一起滚动。

所以这就像将输入提供给隐藏层。在任何时候，循环神经元的步长权重将是相同的，因为它现在是一个单一的神经元。所以一个经常性神经元存储先前输入的状态并与当前输入结合，从而保持当前输入与先前输入的一些关系。

3，理解一个循环神经元的细节

首先，我们要做一个简单的任务。我们有一个词“hello”。 所以我们提供前4个字母，即h，e，l，l，并要求网络预测最后一个字母，即’o’。 所以这里任务的词汇只有4个字母{h，e，l，o}。 在涉及自然语言处理的实际情况下，词汇表包括整个维基百科数据库中的词语，或者一种语言中的所有词语。 这里为了简单，我们已经采取了一小部分词汇。