智能选择：如何根据长度选择示例以优化Prompt输入-CSDN博客

本文链接：https://blog.csdn.net/sjufgwgfhoia/article/details/142796274

# 引言

在构建设计Prompt时，一个常见的挑战是如何在不超出上下文窗口长度的情况下，提供足够多的示例。为了有效管理这一问题，我们可以使用基于长度的示例选择器。本文将深入探讨如何利用`LengthBasedExampleSelector`从LangChain库中根据输入长度选择示例，以优化Prompt设计。

# 主要内容

### 概述

`LengthBasedExampleSelector`是一种工具，能够根据输入文本的长度动态选择适合的示例。这对于避免超过上下文窗口长度非常有帮助。在输入较长的情况下，它会选择较少的示例，而输入较短时则选择更多。

### 核心组件

- **示例**：一组输入输出对，用于生成提示。
- **PromptTemplate**：用于格式化示例。
- **LengthBasedExampleSelector**：根据示例长度进行选择。
- **FewShotPromptTemplate**：动态生成提示。

### 创建示例和模板

首先，我们创建一些示例和一个用于格式化这些示例的Prompt模板：

```python
from langchain_core.example_selectors import LengthBasedExampleSelector
from langchain_core.prompts import FewShotPromptTemplate, PromptTemplate

examples = [
    {"input": "happy", "output": "sad"},
    {"input": "tall", "output": "short"},
    {"input": "energetic", "output": "lethargic"},
    {"input": "sunny", "output": "gloomy"},
    {"input": "windy", "output": "calm"},
]

example_prompt = PromptTemplate(
    input_variables=["input", "output"],
    template="Input: {input}\nOutput: {output}",
)

接下来，初始化LengthBasedExampleSelector：

example_selector = LengthBasedExampleSelector(
    examples=examples,
    example_prompt=example_prompt,
    max_length=25,
)

最后，创建动态Prompt：

dynamic_prompt = FewShotPromptTemplate(
    example_selector=example_selector,
    example_prompt=example_prompt,
    prefix="Give the antonym of every input",
    suffix="Input: {adjective}\nOutput:",
    input_variables=["adjective"],
)

代码示例

以下是动态选择示例的用法：

# 示例：短输入，选择所有示例
print(dynamic_prompt.format(adjective="big"))

# 示例：长输入，仅选择一个示例
long_string = "big and huge and massive and large and gigantic and tall and much much much much much bigger than everything else"
print(dynamic_prompt.format(adjective=long_string))

# 添加新示例
new_example = {"input": "big", "output": "small"}
dynamic_prompt.example_selector.add_example(new_example)
print(dynamic_prompt.format(adjective="enthusiastic"))