BiGRU

BiGRU

在单向的神经网络结构中，状态总是从前往后输出的。然而，在文本情感分类中，如果当前时刻的输出能与前一时刻的状态和后一时刻的状态都产生联系。如对这样一个句子进行选词 填空 The sea water in the deep sea is so____ that the sun does not shine.通过在 The sea water in the deep sea 和 the sun does not shine 两部分内容，我们可以更加确信此处选填 deep，这样更 有利于文本深层次特征的提取，这就需要 BiGRU 来建立这种 联系。

BiGRU 是由单向的、方向相反的、输出由这两个 GRU 的状态共同决定的 GRU 组成的神经网络模型。在每一时刻， 输入会同时提供两个方向相反的 GRU，而输出则由这两个单向 GRU 共同决定。BiGRU 的具体结构如图 4 所示。

从图4可以看出，BiGRU当前的隐层状态由当前的输入 x t 、 (t-1)时刻向前的隐层状态的输  和反向的隐层状态的输出 三个部分共同决定。由于 BiGRU 可以看做两个单向的 GRU，所以BiGRU在t时刻的隐层状态通过前向隐层状态和反向隐层状态 加权求和得到：

其中：GRU( )函数表示对输入的词向量的非线性变换，把词向量编码成对应的 GRU 隐层状态。 wt 、 vt 分别表示 t 时刻双向 GRU 所对应的前向隐层状态 h t 和反向隐状态 ht  所对应的权重， t b 表示 t 时刻隐层状态所对应的偏置。