自然语言处理（十一）：GRU模型

自然语言处理笔记总目录

---

GRU（Gated Recurrent Unit）也称门控循环单元结构，它也是传统RNN的变体，同LSTM一样能够有效捕捉长序列之间的语义关联，缓解梯度消失或爆炸现象。同时它的结构和计算要比LSTM更简单，它的核心结构可以分为两个部分去解析

• 更新门
• 重置门

GRU的内部结构图和计算公式：

结构解释图：

GRU的更新门和重置门结构图：

内部结构分析：

• 和之前分析过的LSTM中的门控一样，首先计算更新门和重置门的门值，分别是 $z(t)$ 和 $r(t)$ ，计算方法就是使用 $X(t)$ 与 $h(t-1)$ 拼接进行线性变换，再经过 $sigmoid$ 激活，之后重置门门值作用在了 $h(t-1)$ 上，代表控制上一时间步传来的信息有多少可以被利用，接着就是使用这个重置后的 $h(t-1)$ 进行基本的RNN计算，即与 $x(t)$ 拼接进行线性变化，经过 $tanh$ 激活，得到新的 $h(t)$ ，最后更新门的门值会作用在新的 $h(t)$ ，而 $1-$ 门值会作用在 $h(t-1)$ 上，随后将两者的结果相加，得到最终的隐含状态输出 $h(t)$ ，这个过程意味着更新门有能力保留之前的结果，当门值趋于1时，输出就是新的 $h(t)$ ，而当门值趋于0时，输出就是上一时间步的 $h(t-1)$

Bi-GRU：

• Bi-GRU与Bi-LSTM的逻辑相同，都是不改变其内部结构，而是将模型应用两次且方向不同，再将两次得到的LSTM结果进行拼接作为最终输出。具体参见前一篇文章中的Bi-LSTM

Examples：

• GRU

import torch
from torch import nn

gru = nn.GRU(10, 20, 2)
input = torch.randn(5, 3, 10)
h0 = torch.randn(2, 3, 20)
output, hn = gru(input, h0)

>>> output.size()
torch.Size([5, 3, 20])
>>> hn.size()
torch.Size([2, 3, 20])

• Bi-GRU

import torch
from torch import nn

gru = nn.GRU(10, 20, 2, bidirectional=True)
input = torch.randn(5, 3, 10)
h0 = torch.randn(2 * 2, 3, 20)
output, hn = gru(input, h0)

>>> output.size()
torch.Size([5, 3, 40])
>>> hn.size()
torch.Size([4, 3, 20])

GRU的优势：

• GRU和LSTM作用相同，在捕捉长序列语义关联时，能有效抑制梯度消失或爆炸，效果都优于传统RNN且计算复杂度相比LSTM要小

GRU的缺点：

• GRU仍然不能完全解决梯度消失问题，同时其作为RNN的变体，有着RNN结构本身的一大弊端，即不可并行计算，这在数据量和模型体量逐步增大的未来，是RNN发展的关键瓶颈

参考链接：https://pytorch.org/docs/stable/generated/torch.nn.GRU.html#torch.nn.GRU