LinkNER: Linking Local Named Entity Recognition Models to Large Language Models using Uncertainty

最新推荐文章于 2024-10-02 19:15:37 发布

UnknownBody

最新推荐文章于 2024-10-02 19:15:37 发布

阅读量70

点赞数

分类专栏： LLM for NLP 文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/137583339

版权

LLM 日更同时被 2 个专栏收录

516 篇文章 3 订阅

已下架不支持订阅

LLM for NLP

31 篇文章 0 订阅

订阅专栏

本文介绍了LinkNER框架，它将微调的NER模型与大型语言模型（如GPT-4）结合，通过不确定性估计的RDC链接策略，解决NER任务中看不见的实体识别问题，提高性能和稳健性。实验显示，LinkNER在标准NER测试集和社交媒体数据上超越SOTA模型。

摘要由CSDN通过智能技术生成

本文是LLM系列文章，针对《LinkNER: Linking Local Named Entity Recognition Models to
Large Language Models using Uncertainty》的翻译。

摘要

命名实体识别（NER）是自然语言理解的一项基本任务，对网络内容分析、搜索引擎和信息检索系统具有直接意义。微调后的净入学率模型在标准净入学率基准上表现出令人满意的性能。然而，由于有限的微调数据和缺乏知识，它在看不见的实体识别方面表现不佳。因此，网络相关应用程序中NER模型的可用性和可靠性受到损害。相反，像GPT-4这样的大型语言模型（LLM）拥有广泛的外部知识，但研究表明，它们缺乏NER任务的专业性。此外，非公开和大规模的权重使得调整LLM变得困难。为了应对这些挑战，我们提出了一个框架，将小型微调模型与LLM（LinkNER）和一种称为RDC的基于不确定性的链接策略相结合，使微调模型能够补充黑盒LLM，实现更好的性能。我们对标准的NER测试集和嘈杂的社交媒体数据集进行了实验。LinkNER增强了NER任务性能，在稳健性测试中显著超过了SOTA模型。我们还定量分析了不确定性估计方法、LLM和上下文学习等关键组成部分对不同NER任务的影响，提供了具体的网络相关建议。