通过BERT-Based标签和实例嵌入提升远程监督的RE

最新推荐文章于 2022-04-04 22:19:02 发布

Eve_Mercedes

最新推荐文章于 2022-04-04 22:19:02 发布

阅读量389

点赞数

分类专栏：论文学习

本文链接：https://blog.csdn.net/Ahighmore/article/details/119867622

版权

本文探讨了如何通过微调BERT模型来改善远程监督关系抽取（DS_RE），以减轻标签噪声的影响。提出的方法包括使用BERT进行多实例学习，通过关系和实体嵌入表示句子，并利用标签嵌入作为实例注意力机制。同时，介绍了评估模型性能的关键指标，如准确率、精确率、召回率和F1分数。

摘要由CSDN通过智能技术生成

Improving Distantly-supervised Relation Extraction Through BERT-Base label and Instance Embedding

摘要

DS_RE是将RE扩展到大型语料库的有效方法，但会收到标签噪声影响。How to solve? 现在方法是试图通过多实例学习和提供额外的信息来减轻噪音，但识别最频繁的关系，会忽略长尾关系（这个目前很难处理，只有一个箭头）。
通过利用BERT的预训练模型，通过微调BERT来guide REDSandT 专注于关系令牌（实体对和实体类型）；使用提取的信息向量，具体化标签嵌入，将其用作实例的注意力机制，来进一步减少噪声；最后，使用连接关系和实体嵌入来表示句子。

阈值，取决于问题，是个需要调整的值。
评估分类模型的指标的主要构成块，TP（真阳性），FP（误报），FN（假阴性），TN（真阴性）。准确性是模型正确预测的分数，accuracy=TP+TN/all （识别A的准确率）当使用类别不平衡的数据集时，准确性不能说明全部情况。
精度，precision=TP/（TP+FP）横着（当他预测A的，有precision是正确的）一般提高分类阈值会减少误报，从而提高精度。
召