本文是LLM系列文章,针对《VERIFINER: Verification-augmented NER via Knowledge-grounded
Reasoning with Large Language Models》的翻译。
摘要
最近在领域特异性命名实体识别(NER)方面的方法,如生物医学命名实体识别,已经显示出显著的进步。然而,他们仍然缺乏诚信,产生了错误的预测。我们假设实体的知识可以用于验证预测的正确性。尽管知识是有用的,但用知识解决这些错误是不平凡的,因为知识本身并不能直接表明基本事实标签。为此,我们提出了VERIFINER,这是一个事后验证框架,可以使用知识识别现有NER方法的错误,并将其修正为更可靠的预测。我们的框架利用大型语言模型的推理能力,在验证过程中充分基于知识和上下文信息。我们通过在生物医学数据集上进行大量实验来验证VERIFINER的有效性。结果表明,VERIFINER可以作为一种模型不可知的方法成功地验证现有模型的错误。对域外和低资源设置的进一步分析表明,VERIFINER在实际应用中是有用的。