2020-2-23 深度学习笔记10 - 序列建模：循环和递归网络 2（双向RNN，基于编码 - 解码的序列到序列结构--不等长输出序列，计算循环神经网络的梯度）

第十章 序列建模：循环和递归网络

官网

2020-2-21 深度学习笔记10 - 序列建模：循环和递归网络 1（展开计算图，循环神经网络–经典 / 导师驱动 / 唯一单向量输出 / 基于上下文RNN建模）

双向RNN

传统的前馈RNN网络都有一个 ‘‘因果’’ 结构，意味着在时刻 t 的状态只能从过去的序列x⁽¹⁾,…,x^(t−1) 以及当前的输入x^(t) 捕获信息。 然而，在许多应用中，我们要输出的 y^(t) 的预测可能依赖于整个输入序列。

例如，在语音识别中，由于协同发音，当前声音作为音素的正确解释可能取决于未来几个音素，甚至潜在的可能取决于未来的几个词，因为词与附近的词之间的存在语义依赖，如果当前的词有两种声学上合理的解释，我们可能要在更远的未来(和过去)寻找信息区分它们。这在手写识别和许多其他序列到序列学习的任务中也是如此。

双向循环神经网络(或双向 RNN)为满足这种需要而被发明。他们在需要双向信息的应用中非常成功，如手写识别，语音识别以及生物信息学。

顾名思义，双向RNN结合时间上从 序列起点开始移动的RNN 和 另一个时间上从序列末尾开始移动的RNN 。下图展示了典型的双向 RNN

1. 逻辑流程图 - 将输入序列映射到等长的输出序列

其中

• h^(t) 代表通过时间向前移动的子 RNN 的状态
• g^(t) 代表通过时间向后移动的子 RNN 的状态。

因此在每个点 t，输出单元 o^(t) 可以受益于输入 h^(t) 中关于过去的相关概要以及输入 g^(t) 中关于未来的相关概要。

这允许输出单元 o^(t) 能够计算同时依赖于过去和未来且对时刻 t 的输入值最敏感的表示，而不必指定 t 周围固定大小的窗口。

基于编码 - 解码的序列到序列结构

这一小节，我们将讨论RNN如何将一个输入序列映射到不等长的输出序列。这在许多场景中都有应用，如语音识别、机器翻译或问答，其中训练集的输入和输出序列的长度通常不相同。

我们经常将RNN的输入称为“上下文”。我们希望产生此上下文的表示C。这个上下文C可能是一个概括输入序列 $X=(x^{(1)},...,x^{(n_x)})$ 的向量或者向量序列，即神经网络的隐层高维度向量。

实际上，输入长度和输出长度不一致的神经网络并不罕见，DNN和CNN中这种情况都非常常见（例如将图像输入得到手写数字输出），实现这一能力的核心思想就是增加 1 个及以上的隐层，对于RNN也是一样的，隐层起到信息压缩和解压缩的承上启下作用。

这种架构称为编码-解码或序列到序列架构。如下图所示：

这个结构实际上是由两个RNN结构拼接组成的。

(1) 编码器(encoder)或读取器(reader)或输入 (input) RNN 处理输入序列。编码器输出上下文C(通常是最终隐藏状态的简单函数)，C表示输入序列的语义概要；

(2) 解码器(decoder)或写入器 (writer)或输出 (output) RNN 则以固定长度的向量(即上下文C)为条件产生输出序列 Y = ( y ( 1 ) , . . . ,