阅读分享：BERT-Based Multi-Head Selection for Joint Entity-Relation Extraction

BERT-Based Multi-Head Selection for Joint Entity-Relation Extraction（2019年语言与智能竞赛信息抽取任务）

• https://arxiv.org/pdf/1908.05908.pdf

Model Description

• 该模型以字符序列作为输入，使用BERT捕获上下文特征。CRF层用于从句子中提取实体。为了在实体识别和关系提取之间有效地传递信息，在CRF逻辑的基础上构建了软标签嵌入。为了解决一个实体属于多个三元组的问题，应用了一个Multi-Sigmoid层。
• 百度百科语料库(约600万个句子)用于NER的预训练。
• Soft Label Embedding：以logits作为输入来保持每个实体类型的概率。假设N是logits维数，即实体类型的个数，M为标签嵌入矩阵，则第i个字符的软标签嵌入可以形式化为
• 将关系分类任务表示为一个多头选择问题，因为句子中的每个token都与其他token有多个关系。将第i个token的soft label embedding feed到两个单独的全连通层中，得到subject和object的表示以预测它们之间的关系。采用multi-sigmoid layer进行关系预测。
• 每一个三元组被视为一个sample，为每个sample设计一个200维的特征。包含：
  • 实体对的概率分布
  • 句子层次的概率分布
  • 三元组是否出现在训练集中
  • 给定句子的预测实体、三元组、关系的数量
  • 实体边界是否与分词结果一致
  • 语义特征。
  • 等。

Experiments