基于注意力的双向长短期记忆网络的关系分类
原论文链接地址：https://aclanthology.org/P16-2034
论文作者：Peng Zhou, Wei Shi, Jun Tian, Zhenyu Qi∗, Bingchen Li, Hongwei Hao, Bo Xu
Institute of Automation, Chinese Academy of Sciences
1. 关系分类
关系分类是自然语言处理（NLP）领域中一项重要的语义处理任务。关系分类是寻找成对名词之间的语义关系的任务，这对于许多NLP应用都很有用，例如信息提取、问答。例如，下面的句子包含了名词Flowers和chapel之间实体-目的地关系的示例。
Flowers are carried into the chapel.
该文提出了一种用于关系分类的新型神经网络Att-BLSTM。模型利用双向长短期记忆网络（Bi-LSTM）的神经注意机制来捕获句子中最重要的语义信息。这个模型没有利用任何来自词汇资源或NLP系统的特性，它可以自动关注对分类有决定性影响的单词，捕获句子中最重要的语义信息，而无需使用额外的知识和NLP系统。
2. Att-BLSTM模型
模型包含五个组成部分：
（1）输入层：该模型的输入句子；
（2）嵌入层：将每个单词映射到一个低维向量；
（3） LSTM层：利用BLSTM从步骤（2）中获取高级特征；
（4）注意层：生成一个权重向量，通过乘以权重向量，将每个时间步的单词级特征合并为句子级特征向量；
（5）输出层：句子级特征向量最终用于关系分类。
(1)单词嵌入
给定一个由T个单词组成的句子S={x1，x2，…，xT}，每个单词xi都转换为实值向量ei。对于S中的每个单词，首先查找嵌入矩阵
W
w
r
d
∈
R
d
w
∣
V
∣
W^{wrd} ∈ R^{d^{w} |V|}
Wwrd∈Rdw∣V∣ ，其中V是固定大小的词汇表，
d
w
d^{w}
dw是单词嵌入的大小。矩阵
W
w
r
d
W^{wrd}
Wwrd是一个需要学习的参数，
d
w
d^{w}
dw是一个由用户选择的超参数。我们使用矩阵向量积将单词xi转换为单词嵌入ei：
e
i
=
W
w
r
d
v
i
e_i=W^{wrd}v^{i}
ei=Wwrdvi
其中
v
i
v^{i}
vi是大小为|V|的向量，其在索引ei处的值为1，在所有其他位置的值为0。然后将句子作为实值向量
e
m
b
s
emb_s
embs={
e
1
，
e
2
，
…
，
e
T
e_1，e_2，…，e_T
e1，e2，…，eT}输入下一层。
(2)双向网络
为了克服梯度消失问题，Hochreiter和Schmidhuber首次提出了LSTM单元。其主要思想是引入一种自适应门控机制，该机制决定LSTM单元保持先前状态的程度，并存储当前数据输入的提取特征。然后提出了许多LSTM变体。该文采用了Graves等人提出的一种变体，该变体将 Constant Error Carousel（CEC）的加权窥视孔连接添加到同一内存块的门。通过直接使用当前单元状态来生成门度，即使输出门关闭，窥视孔连接也允许所有门检查单元。
通常，基于LSTM的循环神经网络由四个部分组成：一个输入门
i
i
it与相应的权重矩阵
W
W
Wxi、
W
W
Whi、
W
W
Wci、
b
b
bi；一个遗忘门
f
f
ft，具有相应的权重矩阵
W
W
Wxf、
W
W
Whf、
W
W
Wcf、
b
b
bf；一个输出门
o
o
ot具有相应的权重矩阵
W
W
Wxo、
W
W
Who、
W
W
Wco、
b
b
bo，所有这些门都设置为生成某种程度。使用当前的输入
x
x
xi，上一步生成的状态
h
h
hi−1，以及神经元
c
c
ci-1的当前状态，用于决定是否接受输入，忘记以前存储的内存，并输出以后生成的状态。正如以下等式所示：
i
t
=
σ
(
W
x
i
x
t
+
W
h
i
h
t
−
1
+
W
c
i
c
t
−
1
+
b
i
)
i_t = σ(W_{xi}x_t + W_{hi}h_{t−1} + W_{ci}c_{t−1} + b_i)
it=σ(Wxixt+Whiht−1+Wcict−1+bi)
f
t
=
σ
(
W
x
f
x
t
+
W
h
f
h
t
−
1
+
W
c
f
c
t
−
1
+
b
f
)
f_t = σ(W_{xf}x_t~+W_{hf}h_{t−1}+W_{cf}c_{t−1}+ b_f)
ft=σ(Wxfxt +Whfht−1+Wcfct−1+bf)
g
t
=
t
a
n
h
(
W
x
c
x
t
+
W
h
c
h
t
−
1
+
W
c
c
c
t
−
1
+
b
c
)
g_t = tanh (W_{xc}x_t+W_{hc}h_{t−1}+W_{cc}c_{t−1}+b_c)
gt=tanh(Wxcxt+Whcht−1+Wccct−1+bc)
c
t
=
i
t
g
t
+
f
t
c
t
−
1
c_t = i_tg_t + f_tc_{t−1}
ct=itgt+ftct−1
o
t
=
σ
(
W
x
o
x
t
+
W
h
o
h
t
−
1
+
W
c
o
c
t
+
b
o
)
o_t = σ(W_{xo}x_t + W_{ho}h_{t−1} + W_{co}c_t + b_o)
ot=σ(Wxoxt+Whoht−1+Wcoct+bo)
h
t
=
o
t
t
a
n
h
(
c
t
)
h_t = o_ttanh(c_t)
ht=ottanh(ct)
因此，当前神经元状态ct将通过使用先前神经元状态和神经元生成的当前信息计算加权和来生成。对于许多序列建模任务，能够访问未来和过去的上下文是有益的。然而，标准LSTM网络按时间顺序处理序列，它们忽略了未来的上下文。双向LSTM网络通过引入第二层来扩展单向LSTM网络，其中隐藏到隐藏的连接以相反的时间顺序流动。因此，该模型能够利用过去和未来的信息。如图1所示，该论文使用的BLSTM包含左序列上下文和右序列上下文的两个子网络，分别是向前和向后传递。第
i
i
i个单词的输出如下等式所示：
h
i
=
[
h
i
→
⊕
h
i
←
]
h_i = [\overrightarrow{h_i}⊕\overleftarrow{h_i}]
hi=[hi⊕hi]
这里，使用逐元素求和来组合正向和反向传递输出。
(3)注意力机制
最近，注意力神经网络在从问答、机器翻译、语音识别到图像字幕的广泛任务中取得了成功。在本节中，该文提出了关系分类任务的注意机制。假设H是由LSTM层生成的输出向量[h1，h2，…，hT]组成的矩阵，其中T是句子长度。句子的表示 r r r由这些输出向量的加权和构成：
M
=
t
a
n
h
(
H
)
M = tanh(H)
M=tanh(H)
α
=
s
o
f
t
m
a
x
(
w
T
M
)
α = softmax(w^{T}M)
α=softmax(wTM)
r
=
H
α
T
r = Hα^{T}
r=HαT
其中
H
∈
R
d
w
×
T
H∈R^{d^{w}×T}
H∈Rdw×T，
d
w
d^{w}
dw是单词向量的维数，
w
w
w是经过训练的参数向量，
w
T
w^{T}
wT是转置。
w
，
α
，
r
w，α，r
w，α，r的维数分别为
d
w
，
T
，
d
w
d^{w}，T，d^{w}
dw，T，dw。
从以下方面获得用于分类的最终句子对表示：
h
∗
=
t
a
n
h
(
r
)
h^{∗} = tanh(r)
h∗=tanh(r)
(4)分类
在此设置中，使用softmax分类器从句子S的离散类Y集合中预测标签
y
^
\hat{y}
y^ 。分类器采用隐藏状态
h
∗
h^{∗}
h∗作为输入：
p
^
(
y
∣
S
)
=
s
o
f
t
m
a
x
(
W
(
S
)
h
∗
+
b
(
S
)
)
\hat{p}(y|S) = softmax(W^{(S)}h^{∗} + b^{(S)})
p^(y∣S)=softmax(W(S)h∗+b(S))
y
^
=
a
r
g
m
a
x
y
p
^
(
y
∣
S
)
\hat{y} = \underset{y}{argmax} \hat{p} (y|S)
y^=yargmaxp^(y∣S)
损失函数是真实类别标签
y
^
\hat{y}
y^的负对数似然：
J
(
θ
)
=
−
1
m
∑
i
=
1
m
t
i
l
o
g
(
y
i
)
+
λ
∥
θ
∥
F
2
J (θ) = − \frac{1}{m}\sum_{i=1}^{m} t_i log(y_i) + λ∥θ∥_{F}^{2}
J(θ)=−m1i=1∑mtilog(yi)+λ∥θ∥F2
其中，
t
∈
ℜ
m
t∈ ℜ^{m}
t∈ℜm是one-hot表示的基本事实，
y
∈
ℜ
m
y∈ ℜ^{m}
y∈ℜm是softmax对每个类的估计概率（m是目标类的数量），λ是L2正则化超参数。该文将dropout与L2正则化相结合，以减轻过拟合现象。
(5)规则化
dropout通过在正向传播期间从网络中随机删除特征检测器，防止了隐藏单元的共同适应。在嵌入层、LSTM层和倒数第二层使用了dropout。梯度下降后无论何时∥w∥ > s，都通过∥w∥ = s将w重标来约束权重向量的L2范数。
3. 实验结果
SVM：这是SemEval-2010中性能最好的系统。Rink和Harabagiu（2010）利用了各种手工特征，并使用SVM作为分类器，取地82.2%的F1分数。
CNN：Zeng等人（2014年）将句子作为序列数据处理，并利用卷积神经网络学习句子级特征；他们还使用一个特殊的位置向量来表示每个单词。然后将句子级和词汇特征连接到单个向量中，并送入softmax分类器进行预测。该模型F1得分为82.7%。
RNN:Zhang和Wang（2015）采用了具有两个不同维度词向量的双向RNN网络进行关系分类。使用Mikolov等人（2013年）预先训练的300维单词向量，他们的F1分数达到82.8%，使用Turian等人（2010年）预先培训的50维单词向量的F1分数为80.0%。本文的模型使用相同的50维单词向量，F1得分为82.5%，比他们的高2.5%。
SDP-LSTM:Yan et al.（2015）利用四个不同的通道沿SDP拾取异质性，他们的F1得分为83.7%。与他们的模型相比，本文将原始文本视为序列的模型更简单。
BLSTM:Zhang等人（2015年）利用NLP工具和词汇资源以及双向LSTM网络的许多特征来学习句子级特征，他们在SemEval-2010 Task 8数据集上取得了最先进的性能。本文使用相同的词向量的模型得到了非常相似的结果（84.0%），而且本文的模型更简单。
本文提出的Att-BLSTM模型的F1得分为84.0%。它优于大多数现有的竞争方法，不需要使用词汇资源（如WordNet）或NLP系统（如依赖关系分析器和NER）来获取高级特性。
4.结论
该文提出了一种新的神经网络模型，名为Att-BLSTM，用于关系分类。该模型不依赖NLP工具或词汇资源来获取，它使用带有位置指示器的原始文本作为输入。通过对SemEval-2010关系分类任务的评估，验证了Att-BLSTM的有效性。
扫一扫
6245
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
