Deep Biaffine Attention for Neural Dependency Parsing

https://arxiv.org/abs/1611.01734

基于图的依存句法分析需要解决两个问题：

1. 哪两个节点连依存弧；

2. 弧的标签是什么。

1. arc得分

这是一个不定类别的多分类问题。若句子中有n个词，包含虚根ROOT在内一共d=n+1个词。

假设我们使用以hfl/chinese-electra-180g-small-discriminator（hfl/chinese-electra-180g-small-discriminator · Hugging Face）预训练模型作为特征抽取器，输出的特征向量R，维度为[batch_size, d, embedding_dim]

对每个词来讲，都需要得到一个分数向量si，其维度为[d, 1]。所有词构成维度为[d, d]的分数矩阵，最后根据arc-factored原理找MST。

MLP 输出维度k切分成两部分：k1 + k2，k1用于预测head，k2用于预测label

一般MLP是个固定类别的分类器，无法处理不定类别分类，所以作者提出先将R重新encode为[batch_size, d, k1]，也就是过一遍MLP。

（1）

（2）

这里两个MLP分别是dep专用和head专用。k的量级通常更小，可对预训练模型的输出降维后再输入至仿射层，避免过拟合。

 如图所示，得到的arc分数。

（3）

U(arc)的维度为[k1 + 1, k1]，式（3）的维度变换为 [batch_size, d, k1 + 1] [k1 + 1, k1] [batch_size, k1, d] = [batch_size, d, d]

作者称（1）（2）（3）式为deep bilinear attention mechanism，因为不同于直接用预训练模型输出的feature，这里通过MLP二次encode了一下。叫attention的原因是，式（3）得到的arc分数向量可理解为，每个词以dep的身份与以head的身份的每个词进行一次点积，酷似attention！

2. arc标签

这是个固定类别的分类问题，作者认为必须同时考虑依存关系的先验概率，已知词语作为head或dep接受某种依存关系的后验概率。也就是下式：

第一项是同时已知i作为dep、yi作为head情况下的后验概率，第二项是已知i或yi是arc两端的后验概率，第三项偏置是什么都不知道时label的先验概率。

维度变换为：

[batch_size, d, k2+1] [k2+1, m * (k2+1)] [batch_size, k2+1, d] = [b, d, md]