利用长度选择器优化Prompt示例选择：提升AI对话效率

akhfuiigabv

于 2024-09-18 05:58:34 发布

阅读量108

点赞数

文章标签： prompt python

本文链接：https://blog.csdn.net/akhfuiigabv/article/details/142322364

版权

# 引言

当我们构建AI对话系统时，常常需要考虑上下文窗口长度的问题。过长的Prompt可能导致性能下降或无法处理。本篇文章将介绍如何使用`LengthBasedExampleSelector`来根据长度选择适当的示例，从而提高Prompt的效率。

# 主要内容

## 1. 示例选择的必要性

在使用AI进行对话生成时，合理选择示例可以帮助模型更好地理解任务要求。然而，过多或过长的示例可能超出模型的处理能力，因此需要智能地选择示例。

## 2. LengthBasedExampleSelector的工作原理

`LengthBasedExampleSelector`根据输入的长度动态选择要包含的示例。对于较长的输入，它将选择较少的示例，而对于较短的输入，它会选择更多的示例。

### 代码示例

以下是如何使用`LengthBasedExampleSelector`和`FewShotPromptTemplate`来自动选择示例的代码：

```python
from langchain_core.example_selectors import LengthBasedExampleSelector
from langchain_core.prompts import FewShotPromptTemplate, PromptTemplate

# 假设的反义词任务示例
examples = [
    {"input": "happy", "output": "sad"},
    {"input": "tall", "output": "short"},
    {"input": "energetic", "output": "lethargic"},
    {"input": "sunny", "output": "gloomy"},
    {"input": "windy", "output": "calm"},
]

example_prompt = PromptTemplate(
    input_variables=["input", "output"],
    template="Input: {input}\nOutput: {output}",
)

example_selector = LengthBasedExampleSelector(
    examples=examples,
    example_prompt=example_prompt,
    max_length=25,
)

dynamic_prompt = FewShotPromptTemplate(
    example_selector=example_selector,
    example_prompt=example_prompt,
    prefix="Give the antonym of every input",
    suffix="Input: {adjective}\nOutput:",
    input_variables=["adjective"],
)

# 使用API代理服务提高访问稳定性
print(dynamic_prompt.format(adjective="big"))

long_string = "big and huge and massive and large and gigantic and tall and much much much much much bigger than everything else"
print(dynamic_prompt.format(adjective=long_string))

# 添加新示例
new_example = {"input": "big", "output": "small"}
dynamic_prompt.example_selector.add_example(new_example)
print(dynamic_prompt.format(adjective="enthusiastic"))