Improving Relation Extraction by Pre-trained Language Representation

论文阅读笔记

Improving Relation Extraction by Pre-trained Language Representation

• 传统的基于语义句法特征的提取方式需要大量的标注数据，限制了模型的泛化能力
• TRE（Transformer for Relation Extraction），使用预训练深度语言模型，捕获实体之间的关系
• 通过无监督的预训练过程，学得句子的隐含语义特征

介绍

• 关系抽取目标：辨别两个名词性实体之间的关系
• 如图1所示，模型使用多层的Transformer编码输入序列，包括多头Attention和前馈残差连接，具体参数参考《Attention is all you need》
• 本文中的位置信息使用一个可学习的向量e表示
• 输入表达：输入句子的编码使用byte pair encoding（BPE），该算法主要目的是为了数据压缩，根据字符串里频率最常见的一对字符被一个没有在这个字符中出现的字符代替的迭代过程。
• 关系提取任务的输入形式，把实体对和序列用分隔符[SEP]隔开，作为一个整体序列输入，一个classification符号即[cls]结尾。