[如何使用Voyage AI进行文本嵌入和语义搜索]-CSDN博客

本文链接：https://blog.csdn.net/bhawfgrcbtwny/article/details/143842303

# 如何使用Voyage AI进行文本嵌入和语义搜索

## 引言
在当今数据驱动的环境中，文本嵌入技术为实现语义搜索和自然语言理解提供了强大的工具。Voyage AI是一个提供尖端嵌入和向量化模型的平台，其能够帮助开发者高效地处理文本数据。本篇文章将详细介绍如何使用Voyage AI的Embedding类来进行文本嵌入，并实现一个简单的语义检索系统。

## 主要内容

### 安装与初始化
首先，我们需要安装Voyage AI的LangChain合作包。通过下面的命令安装：
```bash
pip install langchain-voyageai

接着，我们需要导入VoyageAIEmbeddings类，并使用获取的API密钥进行实例化。Voyage AI会使用API密钥来监控使用情况和管理权限。

from langchain_voyageai import VoyageAIEmbeddings

# 使用API代理服务提高访问稳定性
embeddings = VoyageAIEmbeddings(
    voyage_api_key="[ Your Voyage API key ]", model="voyage-law-2"
)

文档嵌入

准备好文档后，可以使用embed_documents方法将它们转化为向量嵌入。

documents = [
    "Caching embeddings enables the storage or temporary caching of embeddings, eliminating the necessity to recompute them each time.",
    "An LLMChain is a chain that composes basic LLM functionality. It consists of a PromptTemplate and a language model (either an LLM or chat model).",
    "A Runnable represents a generic unit of work that can be invoked, batched, streamed, and/or transformed.",
]

documents_embds = embeddings.embed_documents(documents)
print(documents_embds[0][:5])

查询嵌入

对查询进行嵌入，与文档嵌入类似。

query = "What's an LLMChain?"

query_embd = embeddings.embed_query(query)
print(query_embd[:5])

实现简单的检索系统

使用文档和查询的嵌入，可以通过余弦相似度来衡量文本之间的语义相似性。借助LangChain的KNNRetriever，我们可以实现一个简单的检索系统。

from langchain_community.retrievers import KNNRetriever

retriever = KNNRetriever.from_texts(documents, embeddings)

# retrieve the most relevant documents
result = retriever.invoke(query)
top1_retrieved_doc = result[0].page_content  # return the top1 retrieved result

print(top1_retrieved_doc)