掌握n-gram重叠选择器：优化示例选择的新视角

本文链接：https://blog.csdn.net/aehrutktrjk/article/details/142796561

# 掌握n-gram重叠选择器：优化示例选择的新视角

## 引言

在自然语言处理和生成任务中，选择合适的示例以提高模型的准确性和连贯性至关重要。本文将介绍如何使用`NGramOverlapExampleSelector`根据n-gram重叠得分来选择和排序示例。这一方法不仅提高了示例的相关性，还实现了动态提示生成。

## 主要内容

### 1. 了解n-gram重叠得分

n-gram重叠得分是一个衡量输入文本和可用示例之间相似度的指标，值域为0.0到1.0。分值越高，输入和示例之间的相似度越高。通过设置阈值，开发者可以控制应排除或包含的示例。

### 2. 使用`NGramOverlapExampleSelector`

`NGramOverlapExampleSelector`能够根据n-gram重叠得分动态选择和排序示例。默认情况下，阈值为-1.0，这意味着不会排除任何示例，只会调整排序。

### 3. 示例代码

下面的代码展示了如何利用`NGramOverlapExampleSelector`来动态生成提示。

```python
from langchain_community.example_selectors import NGramOverlapExampleSelector
from langchain_core.prompts import FewShotPromptTemplate, PromptTemplate

# 创建一个示例提示模板
example_prompt = PromptTemplate(
    input_variables=["input", "output"],
    template="Input: {input}\nOutput: {output}",
)

# 创建翻译任务的示例
examples = [
    {"input": "See Spot run.", "output": "Ver correr a Spot."},
    {"input": "My dog barks.", "output": "Mi perro ladra."},
    {"input": "Spot can run.", "output": "Spot puede correr."},
]

# 初始化选择器
example_selector = NGramOverlapExampleSelector(
    examples=examples,
    example_prompt=example_prompt,
    threshold=-1.0,
)

# 创建动态提示模板
dynamic_prompt = FewShotPromptTemplate(
    example_selector=example_selector,
    example_prompt=example_prompt,
    prefix="Give the Spanish translation of every input",
    suffix="Input: {sentence}\nOutput:",
    input_variables=["sentence"],
)

# 输出带有特定输入的格式化提示
print(dynamic_prompt.format(sentence="Spot can run fast."))