大模型LLM应用开发 | 基于意图的提示校准降低LLM提示敏感度问题，让大模型表现更稳定

本文链接：https://blog.csdn.net/star_nwe/article/details/142467073

LLM应用较之于传统软件开发有范式改变，与传统软件只要代码正确，功能特性就能表现出一致稳定的特点相比，在LLM应用开发中，我们常常面临一个很大问题就是LLM对提示的措辞异常敏感，稍不注意可能之前运行良好的应用，瞬间垮塌，这样的特性带来的影响就是开发者在面对产品测试、功能扩展、模型升级，长尾场景处理等情况时被恐惧萦绕，变得谨小慎微。这就像是面对一个知识渊博但脾气古怪的朋友，需要小心翼翼，稍微改变问题的说法，就可能得到完全不同的反应。

例如，在进行电影评价时，"这部电影好看吗？"和"请评价这部电影的质量"这两个看似相似的问题，可能会导致AI给出截然不同的回答。更令人困扰的是，每次模型更新后，它对这些问题的理解又可能发生变化。这种不稳定性严重影响了LLM在实际应用中的可靠性。

一、基于意图的提示校准 (IPC)

在这里插入图片描述

为了解决这一棘手问题，研究人员提出了一种创新方法，名为"基于意图的提示校准"(Intent-based Prompt Calibration, IPC)。它配套项目也已开源包含完整的使用方法和示例，名为“AutoPrompt”，这个方法旨在训练AI更好地理解人类的真实意图，不管问题如何表述，都能给出符合预期的回答。
在这里插入图片描述

IPC的工作原理是这样的：

生成合成边角case：IPC会创造出一些想出一些棘手的问题或场景，类似于为AI设置不常见的难题让它学习。比如在电影评论分类任务中，系统可能会生成这样的评论："这部电影制作精良，但情节令人失望。"这种模棱两可的评论能够测试AI是否真正理解了评价的本质，而不是简单地依赖关键词。
小数据量优化：IPC的一个显著优势是它能够通过少量但精心设计的样本（通常只需50个左右）来有效优化提示。这大大降低了数据收集和标注的成本，使得该方法更适用于实际场景。
适应性强：IPC的设计既适用于分类任务（如判断电影好坏），也适用于生成任务（如撰写影评）。对于生成任务，IPC会先优化一个排序提示，然后用这个排序器来优化生成任务的提示。
持续迭代优化：IPC采用循序渐进的方法。它会反复测试AI的表现，分析结果，然后提出改进建议。这个过程使用了元提示（meta-prompt）来指导LLM分析当前提示的性能并提出优化方案。

以下是IPC方法的一个具体工作流程示例，展示了系统如何通过迭代生成具有挑战性的样本并优化提示词,整个过程只需要用户提供初始的任务描述和提示词，系统就能自主完成优化过程，大大简化了提示词工程的复杂性。
在这里插入图片描述

二、实验设计与结果

研究者们设计了一系列严谨的实验来评估IPC的性能。这些实验涵盖了多个任务和数据集，以确保结果的可靠性和普适性。

1. 分类任务实验

研究者选择了三个具有代表性的分类任务：剧透检测（Spoiler detection）、情感分析（Sentiment analysis）和家长指导（PG）评级（Parental Guidance (PG) detection）。每个任务都使用了50个训练样本和1000个测试样本。实验比较了IPC与几种先进的基线方法，包括手工简单提示（Initial）、OPRO(Optimization by PROmpting)[3]和PE[4]。