如何在LangChain中实现Hybrid Search：结合向量相似和全文检索的强大搜索

本文链接：https://blog.csdn.net/tt_jishu/article/details/144384861

引言

搜索是现代应用程序中至关重要的一部分。在LangChain中，我们通常依赖向量相似度进行检索。然而，通过结合其他技术（如全文检索、BM25等）可以显著提升搜索的准确性和灵活性，这种综合技术被称为"Hybrid Search"。本文将介绍如何在LangChain中实现Hybrid Search，特别是在使用Astra DB等支持该功能的vectorstore时。

主要内容

Step 1: 验证你的vectorstore支持Hybrid Search

在LangChain中实现Hybrid Search的第一步是确保你使用的vectorstore支持该功能。由于LangChain尚未提供统一的Hybrid Search接口，每个vectorstore可能有自己的实现方式。通常，可以通过检查相关文档或源代码来确定其支持方式。

Step 2: 将Hybrid Search参数作为可配置字段

为了灵活使用Hybrid Search参数，你需要在调用链（chain）中将其设为可配置字段。这样可以在运行时轻松设置和调整相关参数。

Step 3: 调用配置字段的链

一旦设置了可配置字段，就可以在运行时通过配置选项调用该链，实现个性化的Hybrid Search。

代码示例

以下是如何在Astra DB中实现Hybrid Search的具体代码示例：

# 安装必要的软件包
!pip install "cassio>=0.1.7"

# 初始化cassio
import cassio

cassio.init(
    database_id="Your database ID",
    token="Your application token",
    keyspace="Your key space",
)

# 创建Cassandra VectorStore
from cassio.table.cql import STANDARD_ANALYZER
from langchain_community.vectorstores import Cassandra
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()
vectorstore = Cassandra(
    embedding=embeddings,
    table_name="test_hybrid",
    body_index_options=[STANDARD_ANALYZER],
    session=None,
    keyspace=None,
)

# 添加文本数据到vectorstore
vectorstore.add_texts(
    [
        "In 2023, I visited Paris",
        "In 2022, I visited New York",
        "In 2021, I visited New Orleans",
    ]
)

# 标准相似度搜索
vectorstore.as_retriever().invoke("What city did I visit last?")

# 使用Astra DB的body_search参数进行Hybrid Search
vectorstore.as_retriever(search_kwargs={"body_search": "new"}).invoke(
    "What city did I visit last?"
)

# 创建用于问答的链
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import (
    ConfigurableField,
    RunnablePassthrough,
)
from langchain_openai import ChatOpenAI

# 设定问答模板
template = """Answer the question based only on the following context:
{context}
Question: {question}
"""
prompt = ChatPromptTemplate.from_template(template)
model = ChatOpenAI()
retriever = vectorstore.as_retriever()

# 标记retriever为可配置字段
configurable_retriever = retriever.configurable_fields(
    search_kwargs=ConfigurableField(
        id="search_kwargs",
        name="Search Kwargs",
        description="The search kwargs to use",
    )
)

# 创建配置链
chain = (
    {"context": configurable_retriever, "question": RunnablePassthrough()}
    | prompt
    | model
    | StrOutputParser()
)

# 通过可配置选项调用链
chain.invoke(
    "What city did I visit last?",
    config={"configurable": {"search_kwargs": {"body_search": "new"}}},
)