大模型核心技术综述（四）大语言模型推理、提示工程_推理参数温度、多样性、重复惩罚-CSDN博客

本文链接：https://blog.csdn.net/star_nwe/article/details/145923658

八、大语言模型推理

在使用大语言模型（LLM）进行推理时，我们通常可以配置各种参数来微调其输出和性能。以下是一些关键参数的详细介绍：

Top-k采样：在每一步只对可能性最高的k个词元进行采样，这样可以增加多样性并避免重复。k值越高，输出的多样性越强，但可能连贯性会变差。
温度参数：影响下一个可能词元的概率分布，用于控制随机性和 “创造性”。较低的温度会生成更可能出现但可能重复的文本，而较高的温度则会鼓励多样性，产生更不可预测的输出。
Top-P（核）采样：Top-P或核采样将词元的选择限制在累计概率达到某个阈值的词汇子集内，有助于控制生成输出的多样性。
最大长度：设置大语言模型生成的最大词元数，防止输出过长。
上下文提示：通过提供特定的上下文提示或输入，可以引导模型生成与该上下文一致的文本，确保生成的输出在给定的上下文中相关且连贯。
重复惩罚：对出现重复n - gram的序列进行惩罚，鼓励多样性和新颖性。
采样方式：在确定性（贪心）和基于随机采样的生成方式中选择。贪心模式在每一步选择最可能的词元，而随机采样则引入随机性。贪心模式优先考虑准确性，而随机采样鼓励多样性和创造性。
束搜索：保留多个潜在序列，在每一步扩展最有希望的序列，与Top-k采样相比，旨在生成更连贯、更准确的输出。

在这里插入图片描述

九、提示工程

提示工程，也称为上下文提示，是指在不更新模型权重的情况下，与大语言模型进行沟通，引导其行为以获得期望结果的方法。这是一门实证科学，提示工程方法的效果在不同模型之间可能差异很大，因此需要大量的实验和探索。

什么是提示？

我们与大语言模型交互时使用的自然语言指令被称为提示。构建提示的过程称为提示工程。

在这里插入图片描述

提示的作用

大语言模型根据提示中的指令进行推理并完成任务的过程被称为上下文学习。

少样本提示

大语言模型在没有任何示例的情况下响应提示指令的能力称为零样本学习。

当提供单个示例时，称为单样本学习。

如果提供多个示例，则称为少样本学习。

上下文窗口，即大语言模型可以提供和推理的最大词元数，在零样本/单样本/少样本学习中至关重要。

在这里插入图片描述

9.1 思维链（CoT）提示

思维链（CoT）提示[9]（Wei等人，2022）会生成一系列短句子，逐步描述推理逻辑，即推理链或推理依据，最终得出答案。在使用大型模型（例如参数超过500亿的模型）处理复杂推理任务时，CoT的优势更为明显。而简单任务使用CoT提示的受益则相对较小。

在这里插入图片描述

9.2 PAL（程序辅助语言模型）

Gao等人（2022）PAL: Program-aided Language Models[10]提出了一种方法，使用大语言模型读取自然语言问题，并生成程序作为中间推理步骤。这种方法被称为程序辅助语言模型（PAL），它与思维链提示的不同之处在于，它不是使用自由形式的文本获取解决方案，而是将解决方案步骤交给诸如Python解释器这样的程序运行时处理。

在这里插入图片描述