【无标题】

我们的模型

我们改进后的gplinker模型如上图所示，我们做了如下改进：
● 我们在bert层后面新增了一层adaTransformer，adaTransformer可以更好的融入上下文信息。
● 我们新增了一个关系分类器，由于webnlg数据集多大170个关系类型，我们增加关系分类器，可以提高关系抽取的精确率，同时也增加了一个MOG_LSTM层，可以更好的将bert的信息融入。
● 对于关系分类器，我们没有采用最传统的二进制交叉熵损失函数，而是采用了和gpointer一样的多标签分类交叉熵损失函数，我们的实验证明，多标签交叉熵损失函数可以很好的解决类别不平衡的问题。

gplinker

ADA_transformer

tener的论文：https://arxiv.org/pdf/1911.04474
这部分公式试着用谷歌翻译，自己翻译一下论文3.2节

global pointer

上图是global pointer识别嵌套实体的过程，

将单目标多分类交叉熵推广到多标签分类损失函数，适用于总类别数很大、目标类别数较小的多标签分类问题。对于 GlobalPointer，就为：