A Universal Prompting Strategy for Extracting Process Model Information from Natural Language Text

本文是LLM系列文章，针对《A Universal Prompting Strategy for Extracting Process Model Information from Natural Language Text using Large Language Models》的翻译。

摘要

在过去的十年中，人们致力于从文本过程描述中提取信息。尽管自然语言处理 （NLP） 取得了显著进步，但业务流程管理领域内的信息提取仍然主要依赖于基于规则的系统和机器学习方法。到目前为止，数据稀缺阻碍了深度学习技术的成功应用。然而，生成式大型语言模型 （LLM） 的快速发展使得无需大量数据即可以非常高的质量解决许多 NLP 任务成为可能。因此，我们系统地研究了 LLM 从文本过程描述中提取信息的潜力，旨在检测过程元素，例如活动和参与者，以及它们之间的关系。使用启发式算法，我们证明了提取的信息对过程模型生成的适用性。基于一种新的提示策略，我们表明 LLM 能够胜过最先进的机器学习方法，在三个不同的数据集中，F1 分数的绝对性能提高了 8%。我们在 8 种不同的 LLM 上评估了我们的提示策略，表明它是普遍适用的，同时还分析了某些提示部分对提取质量的影响。示例文本的数量、定义的特殊性和格式说明的严谨性被确定为提高提取信息准确性的关键。我们的代码、提示和数据是公开可用的。