[KDB.AI与LangChain: 探索知识驱动的AI应用的无限可能]

dsndnwfk

于 2024-10-07 20:12:49 发布

阅读量254

点赞数 1

文章标签：人工智能 langchain python

本文链接：https://blog.csdn.net/dsndnwfk/article/details/142745591

版权

引言

在现代AI应用中，高效的搜索和数据管理是至关重要的。KDB.AI作为一款强大的知识驱动矢量数据库和搜索引擎，提供了实时数据支持，为构建可扩展、可靠的AI应用奠定了基础。本篇文章将展示如何通过LangChain集成KDB.AI实现语义搜索，并提供详细的代码示例及解决方案。

主要内容

1. 环境设置

要开始使用KDB.AI，你需要先注册并获取API端点和密钥。确保按照KDB.AI预备页面的指引设置开发环境。

2. 安装必要的软件包

使用pip安装langchain-community：

pip install -qU langchain-community

3. 导入所需包

import os
from getpass import getpass
import kdbai_client as kdbai
import pandas as pd
import requests
from langchain.chains import RetrievalQA
from langchain_community.document_loaders import PyPDFLoader
from langchain_community.vectorstores import KDBAI
from langchain_openai import ChatOpenAI, OpenAIEmbeddings

4. 创建KDB.AI会话

KDBAI_ENDPOINT = input("KDB.AI endpoint: ")  # 使用API代理服务提高访问稳定性
KDBAI_API_KEY = getpass("KDB.AI API key: ")
session = kdbai.Session(endpoint=KDBAI_ENDPOINT, api_key=KDBAI_API_KEY)

5. 创建表并处理文档

# 定义表的schema
schema = {
    "columns": [
        {"name": "id", "pytype": "str"},
        {"name": "text", "pytype": "bytes"},
        {"name": "embeddings", "pytype": "float32", "vectorIndex": {"dims": 1536, "metric": "L2", "type": "hnsw"}},
        {"name": "tag", "pytype": "str"},
        {"name": "title", "pytype": "bytes"},
    ]
}
table = session.create_table("documents", schema)

# 下载并读取PDF
URL = "https://www.conseil-constitutionnel.fr/node/3850/pdf"
PDF = "Déclaration_des_droits_de_l_homme_et_du_citoyen.pdf"
open(PDF, "wb").write(requests.get(URL).content)

loader = PyPDFLoader(PDF)
pages = loader.load_and_split()

# 创建矢量数据库
embeddings = OpenAIEmbeddings(model="text-embedding-ada-002")
texts = [p.page_content for p in pages]
metadata = pd.DataFrame(index=list(range(len(texts))))
metadata["tag"] = "law"
metadata["title"] = "Déclaration des Droits de l'Homme et du Citoyen de 1789".encode("utf-8")
vectordb = KDBAI(table, embeddings)
vectordb.add_texts(texts=texts, metadatas=metadata)

代码示例

创建LangChain管道并执行查询：

qabot = RetrievalQA.from_chain_type(
    chain_type="stuff",
    llm=ChatOpenAI(model="gpt-3.5-turbo-16k", temperature=0.0),
    retriever=vectordb.as_retriever(search_kwargs=dict(k=3)),
    return_source_documents=True,
)

# 查询文档
question = "Summarize the document in English:"
result = qabot.invoke(dict(query=question))["result"]
print(result)