150 使用Llama Index实现知识图谱RAG查询引擎：从入门到精通

使用Llama Index实现知识图谱RAG查询引擎：从入门到精通

在现代数据科学和人工智能领域，知识图谱（Knowledge Graph）已成为处理复杂信息的重要工具。知识图谱通过结构化的方式表示实体及其关系，使得信息的检索和理解变得更加高效。本文将深入探讨如何使用Llama Index的KnowledgeGraphRAGQueryEngine从现有知识图谱中检索信息，并使用自然语言进行查询。

前置知识

在开始之前，确保你具备以下基础知识：

1. Python基础：熟悉Python编程。
2. OpenAI API密钥：你需要一个OpenAI API密钥来使用OpenAI模型。
3. Llama Index：使用pip install llama-index安装Llama Index库。

环境设置

首先，让我们通过安装所需的包并配置OpenAI API密钥来设置环境。

# 安装Llama Index
%pip install llama-index-llms-azure-openai
%pip install llama-index-graph-stores-nebula
%pip install llama-index-llms-openai
%pip install llama-index-embeddings-azure-openai
!pip install llama-index

# 设置OpenAI API密钥
import os
os.environ["OPENAI_API_KEY"] = "sk-..."

# 配置日志
import logging
import sys
logging.basicConfig(stream=sys.stdout, level=logging.INFO)

初始化Llama Index

使用OpenAI

# 定义LLM
from llama_index.llms.openai import OpenAI
from llama_index.core import Settings

Settings.llm = OpenAI(temperature=0, model="gpt-3.5-turbo")
Settings.chunk_size = 512

使用Azure OpenAI

from llama_index.llms.azure_openai import AzureOpenAI
from llama_index.embeddings.azure_openai import AzureOpenAIEmbedding

# 设置Azure OpenAI
api_key = "<api-key>"
azure_endpoint = "https://<your-resource-name>.openai.azure.com/"
api_version = "2023-07-01-preview"

llm = AzureOpenAI(
    model="gpt-35-turbo-16k",
    deployment_name="my-custom-llm",
    api_key=api_key,
    azure_endpoint=azure_endpoint,
    api_version=api_version,
)

embed_model = AzureOpenAIEmbedding(
    model="text-embedding-ada-002",
    deployment_name="my-custom-embedding",
    api_key=api_key,
    azure_endpoint=azure_endpoint,
    api_version=api_version,
)

Settings.llm = llm
Settings.embed_model = embed_model
Settings.chunk_size = 512

准备NebulaGraph

在执行Graph RAG之前，确保你有一个运行中的NebulaGraph集群，并定义了数据模式。

# 创建NebulaGraph集群
# 使用以下命令创建空间和标签
# CREATE SPACE llamaindex(vid_type=FIXED_STRING(256), partition_num=1, replica_factor=1);
# :sleep 10;
# USE llamaindex;
# CREATE TAG entity(name string);
# CREATE EDGE relationship(relationship string);
# :sleep 10;
# CREATE TAG INDEX entity_index ON entity(name(256));

%pip install ipython-ngql nebula3-python

os.environ["NEBULA_USER"] = "root"
os.environ["NEBULA_PASSWORD"] = "nebula"  # 默认密码是"nebula"
os.environ["NEBULA_ADDRESS"] = "127.0.0.1:9669"  # 假设我们在本地安装了NebulaGraph

space_name = "llamaindex"
edge_types, rel_prop_names = ["relationship"], ["relationship"]
tags = ["entity"]

准备StorageContext

使用NebulaGraph作为图存储。

from llama_index.core import StorageContext
from llama_index.graph_stores.nebula import NebulaGraphStore

graph_store = NebulaGraphStore(
    space_name=space_name,
    edge_types=edge_types,
    rel_prop_names=rel_prop_names,
    tags=tags,
)
storage_context = StorageContext.from_defaults(graph_store=graph_store)

执行Graph RAG查询

使用RetrieverQueryEngine和KnowledgeGraphRAGRetriever

from llama_index.core.query_engine import RetrieverQueryEngine
from llama_index.core.retrievers import KnowledgeGraphRAGRetriever

graph_rag_retriever = KnowledgeGraphRAGRetriever(
    storage_context=storage_context,
    verbose=True,
)

query_engine = RetrieverQueryEngine.from_args(
    graph_rag_retriever,
)

查询示例

from IPython.display import display, Markdown

response = query_engine.query(
    "Tell me about Peter Quill?",
)
display(Markdown(f"<b>{response}</b>"))

异步查询示例

response = await query_engine.aquery(
    "Tell me about Peter Quill?",
)
display(Markdown(f"<b>{response}</b>"))

包含nl2graphquery作为上下文

启用nl2graphquery

graph_rag_retriever_with_nl2graphquery = KnowledgeGraphRAGRetriever(
    storage_context=storage_context,
    verbose=True,
    with_nl2graphquery=True,
)

query_engine_with_nl2graphquery = RetrieverQueryEngine.from_args(
    graph_rag_retriever_with_nl2graphquery,
)

response = query_engine_with_nl2graphquery.query(
    "What do you know about Peter Quill?",
)
display(Markdown(f"<b>{response}</b>"))

检查响应的元数据

import pprint

pp = pprint.PrettyPrinter()
pp.pprint(response.metadata)

总结

通过Llama Index的KnowledgeGraphRAGQueryEngine，我们可以轻松地从现有知识图谱中检索信息，并使用自然语言进行查询。无论是使用Graph RAG还是结合nl2graphquery，Llama Index都提供了强大的工具来处理知识图谱任务。希望这篇博客能帮助你更好地理解和应用知识图谱技术。