A Frustratingly Easy Approach for Entity and Relation Extraction 论文阅读

HxShine

已于 2022-09-28 19:25:58 修改

阅读量610

点赞数

分类专栏： nlp学习 nlp_paper nlp 文章标签：深度学习信息抽取关系抽取

于 2022-09-28 16:50:13 首次发布

本文链接：https://blog.csdn.net/qq_16949707/article/details/127092591

版权

nlp 同时被 3 个专栏收录

97 篇文章 3 订阅

订阅专栏

nlp_paper

75 篇文章 7 订阅

订阅专栏

nlp学习

61 篇文章 2 订阅

订阅专栏

一、概述

论文：https://paperswithcode.com/paper/a-frustratingly-easy-approach-for-joint
解读：https://mp.weixin.qq.com/s/xwljKL3FjY-Nw-Zll4x3pQ
原版本代码：https://github.com/princeton-nlp/PURE
中文版本代码：https://github.com/suolyer/PyTorch_BERT_Pipeline_IE

二、QA

问题一：关系抽取到低怎么利用实体的位置信息的？

在这里插入图片描述

主要的思想就是引入实体位置+实体类别来做pipeline的关系分类，因为这两个信息在关系分类里面是非常重要的。

问题二：实体识别里面x_start和x_end是什么意思?

在这里插入图片描述

答：可能引入了起始的位置（start，end）信息，并且有利用span的表征的信息来做实体识别。

三、消融实验

3.1 不同引入实体位置和类型的方法比较：直接通过mark引入类别和位置信息比在loss测引入信息效果更好。

TEXT纯文本：我们使用实体模型（第3.2节）中定义的跨度表示，并将主语和对象的隐藏表示及其元素乘法相连：[he(si),he(sj),he(si) ⊙ he(sj)]。这与Luan等人的关系模型相似。（2018年，2019年）。
TEXTETYPE：我们将TEXT的跨对re-发送与实体类型嵌入ψ(ei),ψ(ej) ∈ RdE (dE = 150)连接起来。
MARKERS标记：我们在输入层使用未键入的实体类型（，，，），并将两个跨度起点的表示连接起来。
MARKERSETYPE：我们将标记的跨对表示与实体类型嵌入ψ(ei), ψ(ej ) ∈ RdE (dE = 150) 连接起来。
MARKERSELOSS：我们还考虑使用未键入标记的变体，但添加另一个FFNN通过辅助损失来预测主体和对象的实体类型。这与实体信息在多任务学习中的使用方式相似（Luan等人，2019年；Wadden等人，2019年）。
类型标记：这是我们在第3.2节中用类型实体标记取消描述的最终模型。

● 结论：
○ 通过引入typeMarkers来引入类别和位置信息，这种效果最好
○ 利用标准gold实体来训练关系模型，效果最好