对于句子s,将其分词为n个词wi,每个词wi对应取wi的词性为ti,取向量e(wi),和词性向量e(ti),将词向量和词性向量串联得到新的向量xi=concat(e(wi),e(ti))。
BILSTM 向量vi=BILSTM(x_1:n,i)=concat(RNN_F(x_1:i),RNN_R(x_n:i))
将一小部分的BILSTM 向量vi串联,从而得到特征向量F,实际的特征向量F依赖于句法分析,我们将在讨论句法分析的时候分析特征向量。得到特征向量后,我们就可以将特征向量输入常规的句法分析网络,例如可以通过一个非线性函数,例如一个MLP网络,得到每个句法标记的得分:
除了使用基于BILSTM的特征向量外,我们利用标准的句法分析技术,联合训练BILSTM模型和句法分析模型,这使得所学习到的特征适合于句法分析任务。
考虑串联两个BILSTM 向量vi,vj,x=concat(vi,vj),将x输入MLP得到输出得分y。
Transition-based parser:
本文所使用的句法分析网络为transition-based parser,算法如下:
给定一个句子s,初始化句法分析网络的配字c(步骤2),之后,一个特征函数fi(c),将配置