使用相似性选择示例：基于嵌入的智能提示生成-CSDN博客

本文链接：https://blog.csdn.net/qq_29929123/article/details/142796670

引言

在自然语言处理任务中，选择合适的示例对生成高质量输出至关重要。本文将介绍如何使用语义相似性选择示例，利用嵌入技术来选择与输入最相似的示例。这种方法可以提高提示生成的准确性和效率。

主要内容

什么是语义相似性示例选择器？

语义相似性示例选择器通过计算输入和示例之间的嵌入相似性，自动选择最相关的示例。嵌入由特定的模型生成，常用的方法包括使用OpenAI的嵌入服务。

嵌入与余弦相似性

嵌入是将文本转换为固定大小的向量，通过这些向量，我们可以计算余弦相似性来衡量文本之间的语义相似程度。

使用LangChain库

LangChain库提供了多种工具来简化这一过程，我们可以使用SemanticSimilarityExampleSelector和FewShotPromptTemplate来构建智能提示。

代码示例

下面是如何实现上述功能的代码示例：

from langchain_chroma import Chroma
from langchain_core.example_selectors import SemanticSimilarityExampleSelector
from langchain_core.prompts import FewShotPromptTemplate, PromptTemplate
from langchain_openai import OpenAIEmbeddings

example_prompt = PromptTemplate(
    input_variables=["input", "output"],
    template="Input: {input}\nOutput: {output}",
)

# 示例：反义词生成任务
examples = [
    {"input": "happy", "output": "sad"},
    {"input": "tall", "output": "short"},
    {"input": "energetic", "output": "lethargic"},
    {"input": "sunny", "output": "gloomy"},
    {"input": "windy", "output": "calm"},
]

# 创建语义相似性选择器
example_selector = SemanticSimilarityExampleSelector.from_examples(
    examples,
    OpenAIEmbeddings(),
    Chroma,
    k=1,
)

similar_prompt = FewShotPromptTemplate(
    example_selector=example_selector,
    example_prompt=example_prompt,
    prefix="Give the antonym of every input",
    suffix="Input: {adjective}\nOutput:",
    input_variables=["adjective"],
)

# 使用API代理服务提高访问稳定性
print(similar_prompt.format(adjective="worried"))
print(similar_prompt.format(adjective="large"))

# 添加新示例
similar_prompt.example_selector.add_example(
    {"input": "enthusiastic", "output": "apathetic"}
)
print(similar_prompt.format(adjective="passionate"))