一种针对自然语言文本的提示策略

文章介绍了一种创新的提示策略，旨在利用大型语言模型从自然语言文本中提取业务流程相关信息，例如活动和参与者等，并建立它们之间的关系。通过这种方法，研究人员能够在无需大量数据的情况下实现高质量的信息提取，进而用于生成流程模型。这种策略在多个数据集上均能显著提升信息提取性能，相较于传统的机器学习和基于规则的方法，F1分数最高可提升8%。此外，该研究还分析了不同提示组件对提取质量的影响，并提供了一系列指导原则，有助于更有效地使用大型语言模型进行流程信息提取。

1 提示策略

提示策略旨在解决从文本描述中提取业务流程相关信息的挑战，特别是检测活动、参与者及其之间的关系。

（1）高阶提示结构：

提示被分为三个主要模块：上下文描述、任务描述和约束条件。

• 上下文描述：这部分为任务设定了高层次框架，比如指明是在业务流程信息提取的背景下工作。

• 任务描述：详细说明了具体的任务要求，例如定义了需要识别的实体类型（如活动和参与者）和关系类型。

• 约束条件：进一步限制上下文和输出格式，并包含去模糊化的提示，帮助明确期望的结果形式。

（2）具体实现：

• 角色设定：利用“角色设计模式”控制生成结果的语言风格，将角色设定为一个流程建模专家。

• 任务细节：明确了需要检测的不同类型的提及，如活动和参与者，并且定义了这些提及的特征。

• 关系类型：明确了不同实体之间的关系类型，这对于构建过程模型至关重要。

2 过程模型生成算法

**（1）提取过程信息：**使用LLMs提取过程信息：这一步骤涉及使用精心设计的提示来引导LLMs识别文本中的关键元素，如活动、参与者及它们之间的关系。为此，开发了一种包含三个模块的高级提示结构：

• Context（上下文描述）：为LLMs提供关于要处理文本的背景信息。

• Task Description（任务描述）：明确指出要完成的任务，比如检测提及的活动。

• Restrictions（限制条件）：提供具体的指导方针，以确保输出格式一致，便于自动化处理。

（2）算法设计：一旦从文本中提取出所需的过程信息，下一步就是将这些信息转换成一个过程模型。文中提到了一个概念验证的算法，但具体细节没有给出。这种算法可能基于提取到的数据，例如活动、参与者及其相互关系，来构建过程模型。

3 结语

本文提出了一种新颖的通用提示策略，用于利用大型语言模型从自然语言文本中高效提取业务流程信息，并将其用于生成流程模型，该策略在多种模型上均表现出优越性能。

论文题目： A Universal Prompting Strategy for Extracting Process Model Information from Natural Language Text using Large Language Models

论文链接： https://arxiv.org/abs/2407.18540

PS: 欢迎大家扫码关注公众号^_，我们一起在AI的世界中探索前行，期待共同进步！