大模型提示(Prompt)优化新方法IPC：可根据用户意图进行定向优化

引言

由于大语言模型（LLMs）对给定的提示比较敏感，并且文本任务指令本身就存在歧义性。为了能够让LLMs发挥出最佳性能，自动提示（Auto-Prompt）工程至关重要。

今天给大家分享的这篇文章，提出了一种名为Intent-based Prompt Calibration (IPC) 的系统，旨在通过使用合成案例样本来优化大型语言模型（LLMs）的提示（prompt）工程。「该方法核心思想是根据用户意图迭代地细化提示」， 在优化过程中，系统生成相关案例样本数据集，并根据生成的数据集优化提示。

https://arxiv.org/pdf/2402.03099v1.pdf

背景介绍

近年来，大语言模型（LLMs）的能力得到了显着增强，并在各种任务上展示出了超强性能。然而尽管如此，模型输出的质量对条件提示高度敏感。即使提示格式稍有修改也会显着影响模型的性能。这个问题在专有领域模型中更为明显，一旦模型版本发生改变，模型生成结果将发生巨大变化。

为了解决大模型的提示敏感性问题，有人提出使用软提示（soft-prompt）的方法，但此类方法需要对LLM本身做相应的改变才可进行优化。然而最近的研究表明，可以通过大模型本身来优化提示。为此，每个提示都会根据给定的基准指标分配一个分数。优化过程中，首先通过提供一个元提示（meta-prompt）来迭代执行，这个元提示结合最近几次的提示分数，最后引导模型选出分数更高的提示。评估此类方法需要大量的高质量基准数据，然而此类基准数据并不常见。

天无绝人之路，大型语言模型（LLMs）已被证明在生成高质量和丰富的数据集方面非常有效，这些数据集能够提升模型在多样化任务上的性能。近期的研究展示了LLMs的能力，它们能够细化用户提供的提示，解决初始提示的歧义性。然而，在没有额外信息的情况下，模型必须猜测用户的真实意图，这在许多情况下可能导致不准确的结果。

基于以上背景，本文提出了基于意图的提示校准（IPC， Intent-based Prompt Calibration）系统，该系统旨在通过合成示例根据用户的意图校准提示。校准过程通过迭代构建具有挑战性的样本数据集，并根据生成的基准来优化提示。

IPC

IPC整体系统架构如下图所示，该系统主要由**「Dataset」、「Estimator」、「Evaluator」、「Optimizer」**四部分组成。

其中：

**「Dataset」**负责管理数据集，执行数据的插入、修改、删除和应用函数等操作，并进行数据清洗以去除语义重复和进行语义抽样。由于系统优化用于处理小数据集，当前实现基于本地数据库，使用pandas库。

**「Estimator」**负责估计一批样本，它实现了两种估计器：人类注释和大型语言模型（LLM）估计。支持Argilla UI进行人类注释，以及使用Langchain集成的LLM。为了提高效率，估计器支持并行处理和异步调用，并支持批量估计器，它可以运行多个LLM估计器，并通过聚合层整合输出。

**「Evaluator」**负责在预测和注释阶段之后评估记录，该组件接受一个函数并将其应用于每一行数据。它还负责定义错误并使用分析器进行错误分析。

**「Optimizer」**负责管理整个优化过程，执行迭代步骤，并负责停止优化过程并返回最终校准的提示。

IPC系统具体实现流程图如下所示。

本文作者从初始的提示建议和任务描述开始。用户还可以在少量样本的设置中提供一些示例。然后，在校准优化过程中，系统会迭代执行以下步骤：

• 1.为任务和当前提示提出一些具有挑战性和多样性的样本（对应上图步骤2）。
• 2.在生成的数据集上评估当前提示，并进行分析（对应上图3）。
• 3.根据最近几次的提示，生成一个分数更高的提示。当最近几步没有改进，或者达到最大迭代次数时，优化过程就会结束（对应上图4）。

除此之外，本文IPC系统的基线配置针对分类任务进行了优化，将准确度被设定为评分函数，并通过混淆矩阵和提示错误分类进行错误分析。整体系统流程示例如下图所示：

通过上图可以看到，在每次迭代中，根据当前提示生成新的样本，利用这些样本的误分类来细化提示，直到它能够校准到用户的意图。

实验结果

下图展示了Spoiler和PG分类任务的准确性，可以看到IPC在所有测试方法中表现最佳，且方差较低。

下图展示了情感分类任务在合成数据集上不同训练步骤下的准确率。IPC在所有测试方法中表现最佳，且方差较低。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。
• 内容：
  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
    - L1.4.1 知识大模型
    - L1.4.2 生产大模型
    - L1.4.3 模型工程方法论
    - L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
• 内容：
  • L2.1 API接口
    - L2.1.1 OpenAI API接口
    - L2.1.2 Python接口接入
    - L2.1.3 BOT工具类框架
    - L2.1.4 代码示例
  • L2.2 Prompt框架
    - L2.2.1 什么是Prompt
    - L2.2.2 Prompt框架应用现状
    - L2.2.3 基于GPTAS的Prompt框架
    - L2.2.4 Prompt框架与Thought
    - L2.2.5 Prompt框架与提示词
  • L2.3 流水线工程
    - L2.3.1 流水线工程的概念
    - L2.3.2 流水线工程的优点
    - L2.3.3 流水线工程的应用
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
• 内容：
  • L3.1 Agent模型框架
    - L3.1.1 Agent模型框架的设计理念
    - L3.1.2 Agent模型框架的核心组件
    - L3.1.3 Agent模型框架的实现细节
  • L3.2 MetaGPT
    - L3.2.1 MetaGPT的基本概念
    - L3.2.2 MetaGPT的工作原理
    - L3.2.3 MetaGPT的应用场景
  • L3.3 ChatGLM
    - L3.3.1 ChatGLM的特点
    - L3.3.2 ChatGLM的开发环境
    - L3.3.3 ChatGLM的使用示例
  • L3.4 LLAMA
    - L3.4.1 LLAMA的特点
    - L3.4.2 LLAMA的开发环境
    - L3.4.3 LLAMA的使用示例
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
• 内容：
  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

学习计划：

• 阶段1：1-2个月，建立AI大模型的基础知识体系。
• 阶段2：2-3个月，专注于API应用开发能力的提升。
• 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
• 阶段4：4-5个月，专注于高级模型的应用和部署。

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓