Simple and Accurate Dependency Parsing Using Bidirectional LSTM Feature Representations

对于句子s，将其分词为n个词wi,每个词wi对应取wi的词性为ti，取向量e(wi)，和词性向量e(ti)，将词向量和词性向量串联得到新的向量xi=concat(e(wi),e(ti))。

BILSTM 向量vi=BILSTM(x_1:n,i)=concat(RNN_F(x_1:i),RNN_R(x_n:i))

将一小部分的BILSTM 向量vi串联，从而得到特征向量F，实际的特征向量F依赖于句法分析，我们将在讨论句法分析的时候分析特征向量。得到特征向量后，我们就可以将特征向量输入常规的句法分析网络，例如可以通过一个非线性函数，例如一个MLP网络，得到每个句法标记的得分：

 

除了使用基于BILSTM的特征向量外，我们利用标准的句法分析技术，联合训练BILSTM模型和句法分析模型，这使得所学习到的特征适合于句法分析任务。

考虑串联两个BILSTM 向量vi,vj，x=concat(vi,vj),将x输入MLP得到输出得分y。

Transition-based parser:

本文所使用的句法分析网络为transition-based parser,算法如下：

 

给定一个句子s,初始化句法分析网络的配字c(步骤2),之后，一个特征函数fi(c),将配置