使用余弦相似度进行示例选择：提高AI模型的上下文理解能力

bhawfgrcbtwny

于 2024-10-03 23:13:39 发布

阅读量148

点赞数 3

文章标签：人工智能 python

本文链接：https://blog.csdn.net/bhawfgrcbtwny/article/details/142697684

版权

引言

在自然语言处理任务中，如何有效地选择最相关的示例来增强模型的理解能力，是一个重要且具有挑战性的问题。本文将介绍一种基于余弦相似度的示例选择方法，用于选择与输入最相似的示例。这种方法可以帮助模型更好地理解上下文，从而生成更准确的反馈。

主要内容

1. 什么是余弦相似度？

余弦相似度是一种评估两个向量相似度的度量方法，通过计算两者间夹角的余弦值来表示。其值介于-1到1之间，值越接近1表示越相似。

2. 使用LangChain和Chroma进行示例选择

利用 SemanticSimilarityExampleSelector 类，我们可以根据输入选择最相关的示例。其工作原理是利用预训练的嵌入模型，比如 OpenAIEmbeddings，计算输入和示例的相似度，然后选择相似度最高的示例。

3. 实现步骤

准备示例数据：构建一个包含输入输出示例的列表。
创建示例选择器：利用 SemanticSimilarityExampleSelector 类，从示例中挑选出与输入最相似的例子。
格式化输出：使用 FewShotPromptTemplate 来生成最终的输出结果。

代码示例

以下是一个完整的示例代码，演示如何使用余弦相似度进行示例选择：

from langchain_chroma import Chroma
from langchain_core.example_selectors import SemanticSimilarityExampleSelector
from langchain_core.prompts import FewShotPromptTemplate, PromptTemplate
from langchain_openai import OpenAIEmbeddings

# 定义Prompt模板
example_prompt = PromptTemplate(
    input_variables=["input", "output"],
    template="Input: {input}\nOutput: {output}",
)

# 示例数据
examples = [
    {"input": "happy", "output": "sad"},
    {"input": "tall", "output": "short"},
    {"input": "energetic", "output": "lethargic"},
    {"input": "sunny", "output": "gloomy"},
    {"input": "windy", "output": "calm"},
]

# 创建示例选择器
example_selector = SemanticSimilarityExampleSelector.from_examples(
    examples,
    OpenAIEmbeddings(),  # 使用 OpenAI 嵌入模型
    Chroma,  # 使用Chroma进行相似度搜索
    k=1,
)

# 创建 Prompt 模板
similar_prompt = FewShotPromptTemplate(
    example_selector=example_selector,
    example_prompt=example_prompt,
    prefix="Give the antonym of every input",
    suffix="Input: {adjective}\nOutput:",
    input_variables=["adjective"],
)

# 格式化输出示例
print(similar_prompt.format(adjective="worried"))  # 应选择 'happy/sad' 示例

print(similar_prompt.format(adjective="large"))  # 应选择 'tall/short' 示例

# 添加新的示例
similar_prompt.example_selector.add_example(
    {"input": "enthusiastic", "output": "apathetic"}
)
print(similar_prompt.format(adjective="passionate"))  # 应选择 'enthusiastic/apathetic' 示例