NeurIPS 2024 | 阿里云提出个性化提示策略IAP，突破大语言模型零样本推理局限

本文链接：https://blog.csdn.net/bagell/article/details/144443539

论文地址：

https://arxiv.org/abs/2409.20441

作者单位：

阿里云智能-飞天实验室

收录会议：

NeurIPS 2024

引言

大语言模型（LLMs）可以通过“思维链（Chain-of-Thought, CoT）” 来解决复杂的推理问题，但对于不同类型的任务，往往需要人工设计的 “提示（prompt）” 来引导 LLMs 进行有效的推理思考。

这些提示，就像是老师在学生解题时给予的微妙提示，能够激发学生的思考，帮助他们找到问题解决的钥匙。合适的 prompt 能够引导 LLMs 沿着正确的路径推理，而不合适或过于宽泛的 prompt 则可能导致 LLMs 误入歧途，最终得到错误的结论。

Zero-shot CoT 的研究发现：不同的 prompt 在不同任务上表现差异巨大，因此应该选择更适合特定任务的 prompt 来发挥 LLMs 的潜力。然而，“此之甘饴，彼之砒霜”，并不是在某个任务上表现优异的 prompt 对所有所有问题都能引导出正确推理，对于任务整体并不合适的 prompt 也可能对于其中某些问题的推理风格更适配。

如图 1 所示，对于同一个问题，在任务层面上更好的 “Let’s think step by step.” 引导 LLMs 产生了错误的推理路径，而不适合在任务级别使用的 “Don’t think. Just feel.” 反而让模型输出了正确答案。

▲ 图1. 不同任务级别的prompt对相同问题下的表现

研究意义

如上述所言，每个问题都有其独特性，没有任何一个任务级别的 prompt 能够适用于所有问题，需要为每个问题找到特定的 prompt 来激发 LLMs 的推理潜能，本文的研究提出可以通过“实例自适应（Instance-adaptive prompting）”的提示策略来实现这个目标。

此前的研究主要集中在任务级别的提示策略上，如 Self-consistency、OPRO 和 Self-discover 等，这些方法虽然在不同推理任务上取得了很好的效果，但它们往往依赖于为每个任务寻找一个最优的任务级提示，这种方法可能在某些实例上效果不佳，因为他们都忽视了不同问题实例之间的差异性。

本文使用 Qwen-14B-Chat 模型和 5 个不同的任务级别的 prompt 在 GSM8k 数据集上进行了实验，并对这些 prompt 的错误回答进行了统计，发现 5 个 prompt 的交集仅有 17.59% (232/1319)，这优于 5 个 prompt 中 “Let’s think step by step.” 的错误率 42%，这验证了不同提示在处理不同问题实例时的表现差异，也表明了实例级别的 prompting 策略相对于任务级别的巨大优化空间。

▲ 图2. 5个prompt在GSM8k测试集上的错误集合

问题分析

如何实现实例级别的 prompting？问题的核心在于如何识别出哪些问题实例和 prompt 的组合更可能引导正确推理，而哪些组合会失败，这需要深入分析模型的内部工作机制，包括信息如何在模型的不同层和头之间流动，以及这些流动如何影响最终的推理结果。

具体而言，文章采用了一种基于显著性分数（saliency score）的方法来分析信息流，这种方法可以帮助分析模型在处理语言任务时是如何在不同组件间传递和处理信息的。显著性分数是通过计算模型的注意力矩阵与其梯度的逐元素乘积来得到的。

具体来说，对于模型的第层和第个注意力头，显著性分数可以表示为：

其中，是模型的输入，表示第层和第个注意力头的激活值，是显著性分数最大的注意力对集合，表示逐元素乘法，是模型的损失函数，本文中使用交叉熵函数。

研究者们主要关注了三个关键的信息流动路径：

1. 问题到提示（Question-to-Prompt）：这一路径反映了问题中的语义信息如何被聚合到提示中：

2. 问题到推理（Question-to-Rationale）：这一路径显示了问题直接如何影响推理步骤：

3. 提示到推理（Prompt-to-Rationale）：这一路径揭示了提示如何影响推理步骤：

实例分析：

▲ 图3. 实例信息流分析，像素点颜色由浅到深表示显著性分数从低到高，红色框内为 question-to-prompt 显著性分数，蓝色框为 question-to-rationale，绿色框为 prompt-to-rationale

通过图 3 可视化分析显著性分数，研究者们发现：通过显著性分数可视化发现：对于 LLMs 的正确推理实例，Question-to-Prompt、Question-to-Rationale、Prompt-to-Rationale 的显著性得分都会维持在较高水平；相反，对于不能引导 LLMs 正确推理的 prompt，三者之一可能产生了较低的显著性分数。

图 4 更为形象化的展示了正确推理和错误推理之间的差异。而这一过程与人类思考过程相似：给定一个问题和提示，人类首先会尝试理解问题，然后运用提示中提供的指导原则来解决问题，推理过程中需要始终关注上述过程。

▲ 图4. 零样本CoT信息流分析，深色代表较强的信息流，浅色表示信息流较弱

Transformer注意力层和头信息流分析

研究者们还对模型的不同注意力层和头进行细粒度分析，以了解信息流在模型内部的动态变化。图 5 在模型的浅层，问题到提示的信息流尤为显著，这表明在模型的早期推理阶段，问题的核心信息被有效地聚合到提示中。而在深层，提示到推理的信息流逐渐增强，这表示了提示在引导模型生成推理过程中的关键作用。

▲ 图5. 三种信息流的Layer-head可视化，分数较高为深色，较低为浅色

通过这些分析，研究者们能够更深入地理解 LLMs 在零样本 CoT 推理中的工作机制，并据此设计出能够适应不同实例的 IAP 策略。这种方法不仅提高了模型的推理能力，也为未来 LLMs 的优化和应用提供了新的思路。

Instance-adaptive Prompting (IAP) 策略

研究者们首先通过信息流分析 LLMs 的零样本 CoT 推理机制，发现问题到提示、问题到推理过程、以及提示到推理的信息流共同作用于推理结果。如图 1 所示，这三种信息流中任意一种不明显都可能导致错误的推理。基于此，本文提出了 IAP 策略，该策略能够根据不同实例选择最合适的提示，以引导 LLMs 进行正确的推理。

对于每个问题和某个提示，综合显著性分数计算如下：

其中，和分别是 transformer 的注意力层和头的索引集合，和分别是集合中的元素数量，是用于调整不同显著性分数比例的调和超参数。

基于这些发现，研究者们提出了两种 IAP 策略的实现方法：顺序替换（Sequential Substitution, IAP-ss）和多数投票（Majority Vote, IAP-mv）。

顺序替换（IAP-ss）：这种方法基于上述发现，认为超过给定阈值的提示可能是更好的提示，这个过程在找到最优提示或遍历所有候选提示后终止，从而避免了进一步探索其他提示产生的额外计算成本。

多数投票（IAP-mv）：另一种方法需要在所有候选提示上计算综合显著性分数，然后保留最高分数，这些最高分数中的一致答案即为最终答案。这种协同组合确保所选提示不仅符合 LLMs 的内在推理模式，而且符合从多样化的潜在提示中推断出的集体智能。

实验结果

研究者们对不同的模型（如 Qwen-14B-Chat, LLaMA-2-13B-Chat, LLaMA-3-8B-Instruct, LLaMA-3-70B-Instruct）进行了较为全面的测试，涉及数学、逻辑和常识推理任务。结果显示，IAP 策略在各种任务和模型上均取得了一致的性能提升，与任务级别的最优提示相比，准确率平均提升了 2%-4%。