LLMs in the Loop: Leveraging Large Language Model Annotations for Active Learning in Low-Resource

本文是LLM系列文章，针对《LLMs in the Loop: Leveraging Large Language Model Annotations for Active Learning in Low-Resource Languages》的翻译。

摘要

由于语言资源和数据标记专业知识有限，低资源语言在人工智能开发中面临重大障碍，使其变得稀有且昂贵。数据的稀缺和现有工具的缺失加剧了这些挑战，特别是因为这些语言可能无法在各种NLP数据集中得到充分表示。为了解决这一差距，我们建议利用LLM在主动学习循环中的潜力进行数据注释。最初，我们进行评估以评估注释器之间的一致性和连贯性，从而帮助选择合适的LLM注释器。然后，使用主动学习范式将所选注释器集成到分类器的训练循环中，从而最大限度地减少所需的查询数据量。经验评估，特别是采用GPT-4-Turbo，表明其性能接近最先进水平，数据要求显著降低，与人工注释相比，估计的潜在成本节约至少为42.45倍。我们提出的解决方案显示出在低资源环境中大幅降低与自动化相关的货币和计算成本的巨大潜力。通过弥合低资源语言和人工智能之间的差距，这种方法促进了更广泛的包容性，并显示了在不同语言环境中实现自动化的潜力。

1 引言

2 LLM在环中

3 实验