https://zhuanlan.zhihu.com/p/28297161 (图解LSTM和GRU清晰)
通过机器翻译来介绍LSTM和GRU
传统做法
需要的两个平行语料库,然后基于统计分析的模型
这种方法是很难的,因为涉及到多对多以及很多的句法对齐。如果很容易就不会由后面的改进了。
这里他提出了一个思想我觉得很重要:
end-to-end model: 这还只是传统机器翻译系统的冰山一角,有许多细节没有涉及到,还需要大量的人肉特征工程,总之是非常复杂的系统。其中每个环节都是独立不同的机器学习问题。这些独立的模型各自为政,并不以一个统一的优化目标为最终目标。
而深度学习则提供了一个统一的模型,一个统一的最终目标函数。在优化目标函数的过程中,得到一个end to end的完整的joint模型。传统机器翻译系统与深度学习是截然相反的,对齐模型、词序模型、语言模型……一堆独立的模型无法联合训练。
RNN
红圈所示特征表示必须能捕捉整个原文短语的语义,但是RNN无法记住太久之前的事情,大概五六个单词就到极限了。所以这不是个实用的模型。(因为梯度弥散)
上图中:
Encoder是:
h
t
=
ϕ
(
h
t
−
1
,
x
t
)
=
f
(
W
(
h
h
)
h
t
−
1
+
W
(
h
x
)
x
t
)
h_t = \phi (h_{t-1}, x_t) = f (W^{(hh)} h_{t-1} + W^{(hx)} x_t)
ht=ϕ(ht−1,xt)=f(W(hh)ht−1+W(hx)xt)
Decoder是:
e
q
u
a
t
i
o
n
h
t
=
ϕ
(
h
t
−
1
)
=
f
(
W
(
h
h
)
h
t
−
1
)
{equation} h_t = \phi (h_{t-1}) = f (W^{(hh)} h_{t-1})
equationht=ϕ(ht−1)=f(W(hh)ht−1)
y
t
=
s
o
f
t
m
a
x
(
W
(
S
)
h
t
)
y_t = softmax (W^{(S)}h_t)
yt=softmax(W(S)ht)
最小化所有训练实例上的交叉熵误差:
max
θ
1
N
∑
n
=
1
N
log
p
θ
(
y
(
n
)
∣
x
(
n
)
)
\max_{\theta} \dfrac {1}{N} \sum_{n=1}^{N} \log p_{\theta} (y^{(n)}|x^{(n)})
θmaxN1n=1∑Nlogpθ(y(n)∣x(n))
如何终止decoder:softmax分类器会中有个代表句子终止的类。
拓展
- train different weights for encoding and decoding
- compute every hidden state in decoder from:
- 前一个时刻的隐藏层
- encoder的最后一个隐藏层(c=hT)
- 前一个预测结果
y
t
−
1
y_{t−1}
yt−1(为了避免不要出现重复的词)
3、使用深度RNN
4、使用 bi-directional encoder(这跟逆序训练的意思差不多)
优点:
end-to-end
我们不需要给真正的语法,而是让模型去capture grammar
缺点:
它没有办法重新调整次序,也没有办法记忆encoder中的前面的词。
其中第2点的示意图:
第3点的示意图:
GRU(Gated Recurrent Units)
其主要特点:
- 模型学习何时遗忘从而将记忆保持很久
- 允许误差根据输入的不同而不同。
其主要公式如下
update gate:
z t = σ ( W ( z ) x t + U ( z ) h t − 1 ) z_t=\sigma\left(W^{(z)}x_t+U^{(z)}h_{t-1}\right) zt=σ(W(z)xt+U(z)ht−1)
reset gate:
r t = σ ( W ( r ) x t + U ( r ) h t − 1 ) r_t=\sigma\left(W^{(r)}x_t+U^{(r)}h_{t-1}\right) rt=σ(W(r)xt+U(r)ht−1)
new memory content:
h ~ t = tanh ( r t ∘ U h t − 1 + W x t ) \tilde{h}_{t} = \operatorname{tanh}(r_{t}\circ Uh_{t-1} + Wx_{t} ) h~t=tanh(rt∘Uht−1+Wxt)
finale content:
h t = ( 1 − z t ) ∘ h ~ t + z t ∘ h t − 1 h_{t} = (1 - z_{t}) \circ \tilde{h}_{t} + z_{t} \circ h_{t-1} ht=(1−zt)∘h~t+zt∘ht−1
这里的意思是,之前的记忆由reset gate控制,如果reset gate元素都是0,则遗忘之前的事情。比如电影评论的情感分析,“有个文艺的少男爱死了一个平凡的少女,这个平凡的少女也爱死了那个文艺的少男,可两个人就是无法相会巴拉巴拉,真是个无聊的电影”。无论前面说了多少话,起决定性作用的可能就是“无聊”这个词。那么一些GRU可能会说,我遇到了一个情感强烈的词语,我不想让它被之前的记忆冲淡(求和),所以我把reset gate设为0,之前的记忆不起作用,把这个情感词汇写成新的记忆。
而update gate的作用是调节最后的更新,到底时刻t的记忆多少来自之前,多少来自当前。
我一开始以为这个图解释的很清楚,但是原来gate的作用是连续的不是0/1的。
LSTM(Long-Short-Term-Memories)
LSTM与GRU动机相似,只不过单元结构有点不同。GRU的单元结构如下:
LSTM单元结构如下:
自己的理解:
GRU | LSTM | |
---|---|---|
update gate | 调节上一层输出与当前层输出的权重,即其各自的重要程度 | |
reset gate | 调节上一层输出在当前词的权重(注意层与词的区别) | |
input gate | 调节当前词的权重 | |
forget gate | 分离机制,调节上一层输出的权重 | |
output gate | 用来gate记忆的tanh激活值,实际上跟updategate一样 | |
new memory generation | 正常的RNN操作 |