探索LangChain中的混合搜索：结合向量和全文搜索技术

最新推荐文章于 2024-10-02 00:27:17 发布

llzwxh888

最新推荐文章于 2024-10-02 00:27:17 发布

阅读量269

点赞数 3

文章标签： langchain 数据库 python

本文链接：https://blog.csdn.net/ppoojjj/article/details/142537117

版权

引言

在现代信息检索中，混合搜索(Hybrid Search)正变得越来越重要。尤其是在LangChain中，标准搜索依赖于向量相似性。然而，许多向量存储实现（如Astra DB、ElasticSearch、Neo4J等）支持结合向量相似性和其他技术（如全文搜索、BM25）的高级搜索。这种方法被称为"混合搜索"。本文将探讨如何在LangChain中实现混合搜索，并提供实用的代码示例。

主要内容

确认向量存储的混合搜索支持

首先，确保你使用的向量存储支持混合搜索。每种向量存储可能有其独特的实现方式，通常通过文档参数暴露。在阅读文档或源代码时，了解该向量存储是否支持混合搜索以及如何实现。

添加可配置的参数

一旦确认支持混合搜索，将该参数作为可配置字段添加到链中。这使得在运行时可以轻松调用链并配置相关标志。

调用链

在运行时，通过可配置字段调用这个链，实现动态搜索。

代码示例

以下是一个使用Astra DB的Cassandra/CQL接口的实际例子。

# 安装必要的Python包
!pip install "cassio>=0.1.7"

# 初始化cassio
import cassio

cassio.init(
    database_id="Your database ID",
    token="Your application token",
    keyspace="Your key space",
)

# 创建Cassandra VectorStore
from cassio.table.cql import STANDARD_ANALYZER
from langchain_community.vectorstores import Cassandra
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()
vectorstore = Cassandra(
    embedding=embeddings,
    table_name="test_hybrid",
    body_index_options=[STANDARD_ANALYZER],
    session=None,
    keyspace=None,
)

# 添加文本
vectorstore.add_texts(
    [
        "In 2023, I visited Paris",
        "In 2022, I visited New York",
        "In 2021, I visited New Orleans",
    ]
)

# 标准相似性搜索
vectorstore.as_retriever().invoke("What city did I visit last?")

# 使用body_search参数进行混合搜索
vectorstore.as_retriever(search_kwargs={"body_search": "new"}).invoke(
    "What city did I visit last?"
)

# 创建问题回答链
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import (
    ConfigurableField,
    RunnablePassthrough,
)
from langchain_openai import ChatOpenAI

template = """Answer the question based only on the following context:
{context}
Question: {question}
"""
prompt = ChatPromptTemplate.from_template(template)

model = ChatOpenAI()

retriever = vectorstore.as_retriever()

# 设置可配置检索器
configurable_retriever = retriever.configurable_fields(
    search_kwargs=ConfigurableField(
        id="search_kwargs",
        name="Search Kwargs",
        description="The search kwargs to use",
    )
)

# 创建链
chain = (
    {"context": configurable_retriever, "question": RunnablePassthrough()}
    | prompt
    | model
    | StrOutputParser()
)

# 调用链
chain.invoke("What city did I visit last?")

# 调用链并设置可配置选项
chain.invoke(
    "What city did I visit last?",
    config={"configurable": {"search_kwargs": {"body_search": "new"}}},
)