本文是LLM系列文章,针对《Distilling Named Entity Recognition Models for Endangered Species
from Large Language Models》的翻译。
摘要
自然语言处理(NLP)从业者正在利用大型语言模型(LLM),在不具备特定领域知识的情况下,从专利、论文和论文等半结构化和非结构化数据源创建结构化数据集。与此同时,生态专家正在寻找各种方法来保护生物多样性。为了促进这些努力,我们专注于濒危物种,并通过上下文学习,从GPT-4中蒸馏知识。实际上,我们通过两个阶段的过程为命名实体识别(NER)和关系提取(RE)创建了数据集:1)我们从四类濒危物种的GPT-4中生成了合成数据,2)人类验证了合成数据的事实准确性,得到了黄金数据。最终,我们的新数据集总共包含3.6K个句子,平均分为1.8K个NER和1.8K个RE句子。然后,由于GPT-4是资源密集型的,因此使用构建的数据集来微调一般的BERT和特定领域的BERT变体,完成从GPT-4到BERT的知识蒸馏过程。实验表明,我们的知识迁移方法在创建适用于从文本中检测濒危物种的NER模型方面是有效的。