论文浅尝 | 通过依赖掩码语法引导预训练提升关系抽取

笔记整理：王大壮

链接: https://aclanthology.org/2022.findings-acl.147v1.pdf

动机

关系抽取是一项重要的自然语言处理任务，旨在预测给定文本中两个给定实体之间的关系。其中，对文本上下文信息的良好理解对于实现出色的模型性能至关重要。在不同的上下文信息里，句法信息已被证明对任务有帮助。然而，现有研究大多数需要对现有基线架构进行修改以利用句发信息，而本文受预训练任务启发，设计了相应的句法依赖预测预训练任务来增强编码器，避免对基线架构的改动。

论文方法

本文方法主要可以分为3步，模型整体框架如下：

1.句法依赖提取

•首先需要使用