什么是 Few-shots?
Few-shots 指在机器学习模型训练中,仅使用极少量(通常为 1-3 个)的标注样本来提升模型性能。其核心目标是通过少量样本让模型快速掌握任务特性,进而在新数据上表现优异。对于生成式大模型,这一技巧在写 Prompt 时也同样适用。
通过提供 1-3 个输入→输出的具体示例,Few-shots 技巧可以显著提高大模型生成结果的质量。这种方法可以帮助模型“学习”任务的格式、语气和内容期望,从而输出更符合需求的结果。
Few-shots 的原理是什么?
人类的认知依赖意义的理解,而 LLM(大语言模型)的运作依赖概率分布。在生成过程中,模型依据已提供的上下文确定下一个最可能的 Token。Few-shots 技巧通过“样本引导”,提供清晰的上下文模板,让模型更易预测正确答案。
如何使用 Few-shots?
在设计 Prompt 时,可以在结构化提示中加入一个专门的 Examples 区块,示范期望的输入与输出格式。以下是示例对比:
初始 Prompt(无 Few-shots)
[SYS]:
你是一个优秀的翻译人员。你的任务是将汉字翻译成英文和日语,日语部分包括汉字和假名。不需要提供任何额外解释。
输入: 邻居
输出:
Neighbor (English)
隣人 (にんじん/Ninjin) (Japanese)