论文总结 | Improving Relation Extraction by Pre-trained Language Representations

原文链接：https://openreview.net/pdf?id=BJgrxbqp67

本文工作：

• 使用基于Transformer的关系抽取模型（TRE），依赖于深层语言表征（deep language representation）而非语法特征。
• 首次证明预训练语言表征在关系抽取任务中的重要性。
• 通过ablation studies证明训练语言表征避免过拟合且具有较好的泛化性能；证明与基线方法相比样本效率有显著提高。
• 源码 https://github.com/DFKI-NLP/TRE

1.介绍

• 关系抽取应用：信息抽取、知识图谱、问答
• 基于语法特征的关系抽取：基于前缀核形态学特征、POS句法特征、命名实体标记即WordNet上义词、基于图卷积的词法依赖特征。
• 深层语言表征是一种有效的非监督的预训练形式，包含上下文特征，能够捕获语言学特征，微调的预训练在下游任务中有非常出色的表现。
• Transformer的自注意力结构能够捕获长距离依赖。

2.TRE

大体上基于https://blog.csdn.net/qq_27717921/article/details/99670843方法，本文模型框架如图1.

3.实验设置

3.1数据集

• TACRED&