Meta：LLM人机协作数据标注框架MILO

📖标题：Model-in-the-Loop (MILO): Accelerating Multimodal AI Data Annotation with LLMs
🌐来源：arXiv, 2409.10702

摘要

🔸对人工智能训练数据日益增长的需求已经将数据标注转变为一个全球性的行业，但依赖人工标注的传统方法往往耗时、劳动密集，而且质量不一致。我们提出了模型in-the-Loop(MILO)框架，该框架将AI/ML模型集成到注释过程中。
🔸我们的研究引入了一种协作范式，该范式利用了专业人类注释者和大型语言模型（LLM）的优势。通过使用LLM作为预注释和实时助手，并对注释者的响应进行判断，MILO实现了人类注释者和LLM之间的有效交互模式。
🔸三项关于多模态数据注释的实证研究证明了MILO在减少处理时间、提高数据质量和增强注释者体验方面的有效性。我们还引入了质量量规，用于对开放式注释进行灵活评估和细粒度反馈。MILO框架对加速AI/ML开发、减少对人类神经的依赖以及促进人类和机器价值观之间的更好一致性具有重要意义。

🛎️文章简介

🔸研究问题：在大规模生产任务中，如何通过将AI/ML模型（包括LLM）集成到人类标注过程中，以提高标注效率和质量？
🔸主要贡献࿱