杂记 | 基于OpenAIEmbedding向量存储的LangChain示例选择器（节省token、提升响应速度、提高回复准确性）

---

01 场景痛点

在使用ChatGPT的接口进行交互时，我们常常会通过提供示例的方式来提高大语言模型响应的准确性，在LangChain这一大语言模型通用开发框架中，这被称作few-shot。
然而，一次提供给大语言模型的示例并非越多越好，在一次输入中如果提供了太多的示例，可能造成以下问题：

• 准确性下降：如果示例的情况比较复杂，过多的示例反而会让大模型产生困扰，尤其是在不那么聪明的gpt-3.5模型上
• 成本上升：过多的示例文本必然导致token消耗的增加，提高了模型的使用成本
• 响应时间变长：同理，过多的token会让大模型的处理速度变慢

02 示例选择器

为了解决这一问题，可以使用LangChain的示例选择器来实现，即根据用户的输入，从大量的示例中选出与输入最接近的几个示例，再给到大模型，而非每次都将全部的示例传入。

那么，如何实现从大量的示例中选出与输入最接近的几个示例呢？

最朴素的想法是让gpt来选，但这并没有真正解决问题，因为这属于一步拆成两步的操作。

而向量化的方法完美适配这一场景，OpenAI也提供了用于文本向量嵌入的Embedding模型。

其原理大致是这样的：

提供一个包含了大量示例的示例集，将这些示例中的每个示例转换为向量形式再存储到向量数据库，转换的过程使用OpenAI的Embedding模型，该模型的价格约为gpt3.5模型的1/15，且专门为文本向量化设计。
对于用户的一个输入，同样将其转换为向量表示，向量化后，不同向量之间便可以比较，此时再用用户的输入向量到向量数据库中查找最相似的几条向量，将其对应的原始示例文本添加到提示词中。

而这整个过程，都在LangChain中可以方便的实现。

03 实现代码

以语义相似示例选择器和嵌入式向量数据库Chroma为例。
使用前，需要先安装依赖库：

pip install chromadb tiktoken

python代码

from langchain.prompts.example_selector import SemanticSimilarityExampleSelector
from langchain.vectorstores import Chroma
from langchain.embeddings import OpenAIEmbeddings
from langchain.prompts import FewShotPromptTemplate, PromptTemplate

# 创建单个示例的范式模板
example_prompt = PromptTemplate(
    input_variables=["input", "output"],
    template="Input: {input}\nOutput: {output}",
)

# 创建一个示例集 其中每个dict中的键名称要与范式模板的input_variables对应
examples = [
    {"input": "happy", "output": "sad"},
    {"input": "tall", "output": "short"},
    {"input": "energetic", "output": "lethargic"},
    {"input": "sunny", "output": "gloomy"},
    {"input": "windy", "output": "calm"},
]

# 创建语义相似示例选择器
example_selector = SemanticSimilarityExampleSelector.from_examples(
    examples,  # 示例集
    OpenAIEmbeddings(),  # OpenAI的Embedding模型 用于将文本转换为向量
    Chroma,  # Chroma向量数据库 这是一个嵌入式向量数据库
    k=3  # 每次选择3个示例 不写这个参数默认会选择4个
)

# 带示例的提示词模板
similar_prompt = FewShotPromptTemplate(
    example_selector=example_selector,  # 传入刚才创建好的示例选择器对象
    example_prompt=example_prompt,  # 单个示例的范式模板
    prefix="Give the antonym of every input",  # 示例前的提示语
    suffix="Input: {adjective}\nOutput:",  # 示例后的提示语
    input_variables=["adjective"],  # 用户的输入变量插槽
)

# 输入感受 会选择happy/sad这一示例
print(similar_prompt.format(adjective="worried"), end=f"\n{'-' * 50}\n")

# 输入度量 会选择tall/short这一示例
print(similar_prompt.format(adjective="large"), end=f"\n{'-' * 50}\n")

# 新增示例 热情/冷漠
similar_prompt.example_selector.add_example({"input": "enthusiastic", "output": "apathetic"})
print(similar_prompt.format(adjective="passionate"))  # 热情

04 补充 - 最大余弦示例选择器

在LangChain中还有一种示例选择器，叫做最大余弦示例选择器，在使用时，仅需将上述代码中引入的“语义相似示例选择器”进行替换即可：

# 语义相似示例选择器
from langchain.prompts.example_selector import SemanticSimilarityExampleSelector
# 替换为 最大余弦示例选择器
from langchain.prompts.example_selector import MaxMarginalRelevanceExampleSelector

关于二者的区别，LangChain文档的问答功能是这样回答的：

MaxMarginalRelevanceExampleSelector和SemanticSimilarityExampleSelector的主要区别如下:

• 选择原理不同
  SemanticSimilarityExampleSelector仅根据embedding向量之间的相似度选择示例,选择与输入embedding向量最相似的示例。
  MaxMarginalRelevanceExampleSelector在选择最相似的示例的同时,还考虑示例之间的多样性。它会逐步选择相似度最高的示例,但会惩罚与已选择示例过于相似的示例,以保证选择结果的多样性。
  
  
• 实现优化不同
  SemanticSimilarityExampleSelector仅需要计算输入与各示例embedding之间的相似度,实现简单。
  MaxMarginalRelevanceExampleSelector需要额外计算各示例embedding之间的相似度,实现更复杂。但可以产生更多样化的选择结果。
  
  
• 使用场景不同
  当仅需要根据相似度选择示例时,SemanticSimilarityExampleSelector更适用。
  当需要同时考虑相似度和多样性时,MaxMarginalRelevanceExampleSelector更适用。
  
  

总体来说,MaxMarginalRelevanceExampleSelector相比SemanticSimilarityExampleSelector,选择机制更复杂,但可以产生更多样化的结果,
更适用于需要示例多样性的场景。两者各有优势,应根据实际需要选择使用。

不过据说OpenAI官方建议使用最大余弦示例选择器，读者可以对比各自使用效果后自行选择。