Raki的读paper小记：Enhanced Language Representation with Label Knowledge for Span Extraction

最新推荐文章于 2022-12-09 19:45:29 发布

爱睡觉的Raki

最新推荐文章于 2022-12-09 19:45:29 发布

阅读量1.1k

点赞数 1

分类专栏： NLP 读paper 文章标签：自然语言处理深度学习 bert 机器学习人工智能

本文链接：https://blog.csdn.net/raki_j/article/details/123596105

版权

读paper 同时被 2 个专栏收录

83 篇文章 5 订阅

订阅专栏

NLP

82 篇文章 10 订阅

订阅专栏

该研究提出了一种名为LEAR的模型，用于解决在跨度提取任务中利用标签知识的低效和不充分问题。与传统的问答形式化方法不同，LEAR通过独立编码文本和标签注释，然后通过语义融合模块将标签知识有效地整合到文本表示中。实验结果显示，LEAR在四个数据集上表现出SOTA性能，并显著减少了训练时间。尽管效果略逊于W2NER，但仍然是一个有效的解决方案。

摘要由CSDN通过智能技术生成

Abstract & Introduction & Related Work

研究任务
- 用标签知识来增强文本表达
已有方法和相关工作
- 最近的工作引入了标签知识，通过将span提取任务形式化为一个问题回答问题来增强文本表示
面临挑战
- 由于训练和推理的低效率，QA形式并没有充分发掘标签知识
创新思路
- 它对文本和标签注释进行独立编码，然后通过一个精心设计的语义融合模块将标签知识整合到文本表示中
实验结论
- 在四个数据集上sota，大幅减少了训练时间

标签知识被隐性地整合到基于自我注意机制的文本表示中，自我注意机制的 "注意力 "会被文本分散，而不是完全集中在问题部分。因此，标签知识并没有被充分地利用来增强文本表征
在这里插入图片描述
为了解决低效和不充分利用的问题，我们提出一个novel的范式来整合标签知识

我们把问题-文本编码分解成两个分开的模块：文本编码模块和问题编码模块，样本集不会扩大超过C次，然后为了充分利用标签信息，通过一个融合模块
在这里插入图片描述

Approach

句子和标签注释的编码是共享权重的
在这里插入图片描述

Semantics Encoding Module

语义编码模块旨在将文本和标签注释编码为实值嵌入。由于与整个样本集相比，标签注释的数量很少，为标签注释从头建立一个编码器是很有挑战性的。因此，我们引入了共享编码器，其灵感来自连体网络（Bromley等人，1993）。共享编码器在学习标签注释的表示方面很有效，而且不引入额外的参数
在这里插入图片描述

Semantic Fusion

语义融合模块的目的是用标签知识明确地增强文本表示。为此，我们设计了一个语义引导的注意机制来实现这一目标
在这里插入图片描述
然后对标签注释和文本使用注意力机制：

最后进行一个融合

得到最终表示

Span Decoding

对于每一个token，表示 $x_i$ 是类c的start，用同样的方法求end
在这里插入图片描述

Flat Span Decoding

最被广泛使用的方法是最近匹配原则，它将类别c的起始位置与c的最近的下一个结束位置相匹配

在一个类别c的候选起点和终点位置中，我们只匹配那些具有高概率的位置，其中概率来自公式（8）中定义的向量。关于启发式匹配的详细信息，请参考附录A.1的算法
在这里插入图片描述

Nested Span Decoding

由于启发式匹配原则不再起作用，我们遵循BERTMRC（Li等人，2020b）的解决方案。它采用了一个二元分类器来预测一对候选起点/终点位置应该被匹配为一个跨度的概率。具体来说，对于任何类别的c，定义以下二元分类器
在这里插入图片描述

Loss Function

start和end的损失函数
在这里插入图片描述
nested的损失函数有点不同：

Experiments

在这里插入图片描述

Analysis

在这里插入图片描述

Conclusion

在本文中，我们提出了一种新的范式，利用标签知识来促进跨度提取任务，并进一步实例化了一个名为LEAR的模型。与现有的QA Formalization方法不同，LEAR首先对文本和标签注释进行独立编码，并使用语义融合模块将标签知识明确地整合到文本表示中。通过这种方式，我们可以克服QA Formalization的低效率和低利用率问题。实验结果表明，我们的模型优于以前的工作，并享有明显更快的训练/推理速度