使用 LangChain 和 Neo4j 构建 GraphRAG 工作流

已于 2024-12-16 19:23:21 修改
阅读量1.7k 收藏 15
点赞数 9
文章标签： langchain neo4j
于 2024-10-29 14:18:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sequoia00/article/details/143328262
版权

随着 Neo4j 宣布与 LangChain 的集成，我们见证了大量基于知识图谱和大语言模型（LLM）的检索增强生成（RAG）应用场景的涌现。这一发展在最近几个月显著推动了知识图谱在 RAG 中的应用。相比传统的 RAG 系统，基于知识图谱的 RAG 系统在管理幻觉（hallucinations）方面表现更佳。此外，基于代理的系统的使用也在快速增长，以进一步增强 RAG 应用。为了更进一步，LangChain 生态系统中新增了 LangGraph 框架，为 LLM 应用添加了循环和持久化功能。

本文将详细介绍如何使用 LangChain 和 Neo4j 构建一个 GraphRAG 工作流，并通过实际代码示例进行分步讲解，最后提供完整的代码实现。

目录

  1. 项目简介
  2. 环境配置
    • 安装必要的库
    • 配置环境变量
  3. 代码结构与功能概述
  4. 分步讲解代码
    • 导入库与加载环境变量
    • 配置 OpenAI LLM
    • 读取和分割文本
    • 转换为图文档
    • 连接 Neo4j 数据库
    • 写入图数据库
    • 查询与验证
  5. 完整代码
  6. 总结与展望

项目简介

在本项目中，我们将使用 LangChain 构建一个工作流，该工作流能够读取文本数据，使用大语言模型进行处理，并将结果存储在 Neo4j 图数据库中。这种方式不仅能够有效管理和查询知识，还能通过图数据库的强大关系分析能力，增强 RAG 应用的表现。

环境配置

安装必要的库

首先，确保您的开发环境中安装了以下必要的 Python 库：

pip install langchain_openai dotenv langchain_community python-dotenv

配置环境变量

为了确保敏感信息（如 API 密钥、数据库链接和密码）的安全，我们将使用环境变量来存储这些信息。您可以通过创建一个 .env 文件来管理这些变量。

  1. 创建 .env 文件

在项目的根目录下创建一个名为 .env 的文件，并添加以下内容：

OPENAI_API_KEY=your_openai_api_key
OPENAI_API_URL=http://your_api_url:port/v1
NEO4J_URI=bolt://your_neo4j_host:port
NEO4J_USERNAME=your_neo4j_username
NEO4J_PASSWORD=your_neo4j_password

注意： 请将 your_openai_api_key、your_api_url、your_neo4j_host、your_neo4j_username 和 your_neo4j_password 替换为您的实际凭证信息。

  1. 加载环境变量

在代码中使用 python-dotenv 库加载 .env 文件中的环境变量：

from dotenv import load_dotenv

# 加载 .env 文件中的环境变量
load_dotenv()

代码结构与功能概述

整个工作流分为以下几个主要步骤：

  1. 导入库与加载环境变量：引入必要的 Python 库并加载环境变量。
  2. 配置 OpenAI LLM：设置大语言模型的相关参数。
  3. 读取和分割文本：从文件中读取文本内容，并使用 RecursiveCharacterTextSplitter 进行分块处理。
  4. 转换为图文档：将分割后的文档转换为适合存储在图数据库中的格式。
  5. 连接 Neo4j 数据库：配置并连接到 Neo4j 图数据库。
  6. 写入图数据库：将转换后的图文档写入 Neo4j 数据库中。
  7. 查询与验证：执行数据库查询以验证数据的正确写入。

分步讲解代码

下面我们将逐步解析每一部分代码，理解其功能与实现。

导入库与加载环境变量

from langchain_openai import OpenAI
from langchain_openai import ChatOpenAI
from langchain.schema import HumanMessage
from langchain_core.documents import Document
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_experimental.graph_transformers import LLMGraphTransformer
# 对接国产模型需要修改use_function_call 
# from llm_cn import LLMGraphTransformer 

import os
from dotenv import load_dotenv
from langchain_community.graphs import Neo4jGraph

# 加载 .env 文件中的环境变量
load_dotenv()

说明：

  • 导入了 LangChain 相关的库，用于与 OpenAI 的 API 交互以及处理文档。
  • 使用 dotenv 库加载环境变量，确保敏感信息不直接暴露在代码中。
  • 导入 Neo4jGraph 用于与 Neo4j 图数据库进行交互。

配置 OpenAI LLM

api_key = os.getenv("OPENAI_API_KEY")
api_url = os.getenv("OPENAI_API_URL")
model = "glm-4-plus"

llm = ChatOpenAI(
    model_name=model,
    openai_api_key=api_key,
    openai_api_base=api_url,
    temperature=0.9
)

说明：

  • 从环境变量中获取 OpenAI API 密钥和 API URL。
  • 配置大语言模型（LLM）的相关参数，包括模型名称和温度（控制生成文本的随机性）。

读取和分割文本

# 从文件读取文本
file_path = 'data/****.txt'  # 请替换为您实际的文件路径
with open(file_path, 'r', encoding='utf-8') as file:
    text = file.read()

# 使用 RecursiveCharacterTextSplitter 对文本进行分片
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=2000,  # 每个分片的最大字符数
    chunk_overlap=20  # 分片之间的重叠字符数
)

# 分片文档
chunks = text_splitter.split_text(text)
documents = [Document(page_content=chunk) for chunk in chunks]

说明：

  • 从指定路径读取文本文件内容。
  • 使用 RecursiveCharacterTextSplitter 将文本按指定的字符数进行分块，并设置块之间的重叠部分，以确保上下文的连贯性。
  • 将分块后的文本封装成 Document 对象列表，便于后续处理。

转换为图文档

llm_transformer = LLMGraphTransformer(llm=llm)
# 调用国产模型，需要增加关闭use_function_call的参数
# llm_transformer = LLMGraphTransformer(llm=llm, use_function_call=False)

graph_documents = llm_transformer.convert_to_graph_documents(documents)
print(len(graph_documents))
print(f"Nodes: {graph_documents[0].nodes}")
print(f"Relationships: {graph_documents[0].relationships}")

说明：

  • 创建一个 LLMGraphTransformer 对象，传入配置好的 LLM。
  • 使用 LLM 将文档转换为适合存储在图数据库中的图文档（包含节点和关系）。
  • 打印转换后的图文档的节点和关系数量，以验证转换效果。

连接 Neo4j 数据库

# 配置 Neo4j 连接信息
neo4j_uri = os.getenv("NEO4J_URI")
neo4j_username = os.getenv("NEO4J_USERNAME")
neo4j_password = os.getenv("NEO4J_PASSWORD")

os.environ["NEO4J_URI"] = neo4j_uri
os.environ["NEO4J_USERNAME"] = neo4j_username
os.environ["NEO4J_PASSWORD"] = neo4j_password

graph = Neo4jGraph()

说明：

  • 从环境变量中获取 Neo4j 的连接 URI、用户名和密码。
  • 设置环境变量，确保 Neo4jGraph 能够正确读取这些信息进行连接。
  • 创建一个 Neo4jGraph 对象，作为后续数据库操作的接口。

写入图数据库

# 写入到图数据库中，不包括原始文档
graph.add_graph_documents(
    graph_documents,
    baseEntityLabel=True,
    include_source=False
)

说明：

  • 使用 add_graph_documents 方法将转换后的图文档写入 Neo4j 数据库。
  • 参数说明：
    • baseEntityLabel=True：为每个实体添加基本标签。
    • include_source=False：不包括原始文档内容，仅存储转换后的节点和关系。

显示节点名称

# 看不到节点名称，可以用下面的查询复制一下 name
# 基于查询语句复制 name 属性
QUERY = """
MATCH (n)
WHERE n.id IS NOT NULL
SET n.name = n.id
RETURN n
"""
graph.query(QUERY)
print("success")

说明：

  • 执行一段 Cypher 查询语句，将每个节点的 name 属性设置为其 id 属性的值，便于在图数据库中查看和识别节点。
  • 打印 "success" 以确认操作成功完成。

完整代码

以下是完整的代码实现，整合了上述所有步骤：

from langchain_openai import OpenAI
from langchain_openai import ChatOpenAI
from langchain.schema import HumanMessage
from langchain_core.documents import Document
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_experimental.graph_transformers import LLMGraphTransformer
# 对接国产模型需要修改use_function_call 
# from llm_cn import LLMGraphTransformer 

import os
from dotenv import load_dotenv
from langchain_community.graphs import Neo4jGraph

# 加载 .env 文件中的环境变量
load_dotenv()

api_key = os.getenv("OPENAI_API_KEY")
api_url = os.getenv("OPENAI_API_URL")
model = "glm-4-plus"

llm = ChatOpenAI(
    model_name=model,
    openai_api_key=api_key,
    openai_api_base=api_url,
    temperature=0.9
)

# 从文件读取文本
file_path = 'data/******.txt'  # 请替换为您实际的文件路径
with open(file_path, 'r', encoding='utf-8') as file:
    text = file.read()

# 使用 RecursiveCharacterTextSplitter 对文本进行分片
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=2000,  # 每个分片的最大字符数
    chunk_overlap=20  # 分片之间的重叠字符数
)

# 分片文档
chunks = text_splitter.split_text(text)
documents = [Document(page_content=chunk) for chunk in chunks]   

llm_transformer = LLMGraphTransformer(llm=llm)
# 调用国产模型，需要增加关闭use_function_call的参数
# llm_transformer = LLMGraphTransformer(llm=llm, use_function_call=False)

graph_documents = llm_transformer.convert_to_graph_documents(documents)
print(len(graph_documents))
print(f"Nodes: {graph_documents[0].nodes}")
print(f"Relationships: {graph_documents[0].relationships}")

# 配置 Neo4j 连接信息
neo4j_uri = os.getenv("NEO4J_URI")
neo4j_username = os.getenv("NEO4J_USERNAME")
neo4j_password = os.getenv("NEO4J_PASSWORD")

os.environ["NEO4J_URI"] = neo4j_uri
os.environ["NEO4J_USERNAME"] = neo4j_username
os.environ["NEO4J_PASSWORD"] = neo4j_password

graph = Neo4jGraph()

# 写入到图数据库中，不包括原始文档
graph.add_graph_documents(
    graph_documents,
    baseEntityLabel=True,
    include_source=False
)

# 看不到节点名称，可以用下面的查询复制一下 name
# 基于查询语句复制 name 属性
QUERY = """
MATCH (n)
WHERE n.id IS NOT NULL
SET n.name = n.id
RETURN n
"""
graph.query(QUERY)
print("success")

总结与展望

通过本文的介绍，我们展示了如何结合使用 LangChain 和 Neo4j 构建一个强大的 GraphRAG 工作流。这种工作流不仅能够高效地处理和存储大量文本数据，还能利用知识图谱的优势，提升检索与生成的能力。随着 LangChain 生态系统的不断发展，诸如 LangGraph 等新框架的加入，将进一步增强 LLM 应用的循环与持久化功能，为开发者提供更多可能性。

未来，基于知识图谱的 RAG 系统有望在各类应用场景中发挥更大的作用，如智能问答、推荐系统、知识管理等。同时，随着技术的进步和社区的贡献，相关工具和框架将变得更加成熟和易用，开发者可以更轻松地构建出符合自身需求的智能应用。

参考资料

使用 Neo4j 和 LangGraph 实现 GraphReader 通过将长文档构建为可探索的图形并实现基于图形的代理系统来提高 RAG 的准确性和性能
iCloudEnd的博客
09-24 526
大型语言模型 (LLM) 擅长传统的 NLP 任务，如总结和情感分析，但更强大的模型也表现出了良好的推理能力。LLM 推理通常被理解为通过制定计划、执行计划并评估每一步的进展来解决复杂问题的能力。基于此评估，他们可以通过修改计划或采取替代行动来适应。代理的兴起正成为 RAG 应用中回答复杂问题的一种越来越引人注目的方法。在这篇博文中，我们将探讨GraphReader 代理的实现。此代理旨在从遵循预定义架构的结构化知识图谱中检索信息。
【Neo4j 】学习笔记：GraphRAG 宣言：为 GenAI 添加知识
突围
07-15 931
GraphRAG 宣言：为 GenAI 添加知识
使用Neo4j和LangChain实现持久性对话：构建智能聊天机器人
bhawfgrcbtwny的博客
11-08 867
通过将Neo4j的图形功能和LangChain的强大能力结合，我们可以有效地管理和分析用户会话的对话历史。这种方法不仅增强了聊天机器人的上下文理解能力，还为更深入的用户行为分析打开了大门。Neo4j 官方文档LangChain 文档OpenAI API 文档。
为什么说LangGraph是Java开发者的AI工作流救星
最新发布
JAVA高级架构
03-31 528
Java与LangGraph的深度整合为AI工作流开发带来了企业级可靠性、高性能和成熟的生态系统支持。LangGraph作为新兴的AI工作流编排框架，与Java企业级生态的深度整合，为开发者提供了构建可靠、高性能AI工作流引擎的全新可能。随着AI应用复杂度的不断提升，Java在AI工程化领域的价值将愈发凸显。建议从简单的业务工作流入手，逐步构建完整的AI工作流平台。va与LangGraph深度整合：构建下一代AI工作流引擎。未来展望：Java在AI工作流领域的演进。节点自治：每个节点封装独立的处理逻辑。
langchain+neo4j 实现图谱GraphRAG
weixin_43816875的博客
06-24 4434
参考文档：https://blog.langchain.dev/enhancing-rag-based-applications-accuracy-by-constructing-and-leveraging-knowledge-graphs/源代码参考复现：https://github.com/tomasonjo/blogs/blob/master/llm/enhancing_rag_with_graph.ipynb?3.后续需要调整代码，限制节点的类型，以及关系的类型。② 构建结构化的检索器。
Neo4j GraphRAG：1个Python包，轻松搞定RAG + 知识图谱！
m0_59235945的博客
10-01 1141
neo4j-graphrag 包简化了图检索增强生成（GraphRAG）。在 Neo4j，我们相信将图数据库与向量搜索结合起来代表了 RAG 的下一步发展方向。
使用LangChain和Neo4j快速创建RAG应用
csdn1561168266的博客
05-10 3247
综上所述，Neo4j 通过整合其内置的向量搜索功能，显著提升了对检索增强生成（RAG）应用的支持能力。这不仅加强了其在传统结构化数据分析方面的优势，还使其能够更有效地处理非结构化文本数据。本文详细介绍了如何利用Neo4j Aura和Neo4j Desktop来存储向量索引，并在LangChain框架的辅助下，构建出高效的RAG应用。
手把手教你构建基于知识图谱的GraphRAG之结构化数据篇【LangChain+Neo4j】
Python_cocola的博客
07-12 4226
检索增强生成（RAG）是一种利用外部知识来增强大模型生成能力减少幻觉的主流方法，而对知识最常见的一种组织与索引的形式是向量化及基于向量相近性的检索。但除此之外，基于Graph图结构的知识图谱也是一种强大的知识组织工具，在很多场景下它可以实现更有意义的上下文检索并帮助模型输出更加准确的响应内容。预备知识：GraphRAG基础在开始之前，我们先快速了解图（Graph）、图数据库（GraphDB）、知识图谱（Knowledge Graph）以及GraphRAG的基础知识。。
GraphRAG：知识图谱+大模型 LangChain实现
热门推荐
KQe397773106的博客
04-22 2万+
需要注意的是，生成的图谱质量很大程度上取决于您使用的模型。在 RAG 应用中，结合结构化的图数据和非结构化的文本向量搜索，可以让我们同时享受两者的优势，这也是本文将要探讨的内容。的引入，生成知识图谱的过程现在应该更加顺畅和易于访问，这使得任何想要通过知识图谱提供的深度和上下文来增强其基于 RAG 的应用的人更容易上手。接下来，我们将引入一个提示，它利用混合检索器提供的上下文来生成响应，从而完成 RAG 链的实现。正如我们一开始提到的，我们将结合非结构化和图检索器来创建最终的上下文，这将传递给 LLM。
Neo4j+Milvus双剑合璧！打造更强大的GraphRAG知识图谱
强化学习曾小健
10-20 1200
未来，我们将继续探索这两种技术的结合，提升智能体的能力。我们的方法更进一步，通过结合 Neo4j (https://neo4j.com/) 来捕捉实体和概念之间的关系，提供更细致的信息理解。该智能体结合了 图数据库和向量搜索的强大功能，能够为用户查询提供准确和相关的答案。魔法发生在这里：我们的智能体能够结合来自 Milvus 和 Neo4j 的结果，从而更好地理解信息，提供更准确和细致的答案。– 我们使用 Milvus，这是一款开源且高性能的向量数据库，根据与用户查询的语义相似度存储和检索文档块。
LangChain实现一个工作流
01-16
#### 创建GraphRAG工作流 1. **环境准备** 安装所需的Python库，确保开发环境中已经包含了`langchain`, `neo4j`以及其他可能需要用到的数据处理工具包： ```bash pip install langchain neo4j transformers ...
[今日Arxiv] GraphRAG, 微软，使用LLM自动化构建图谱并检索生成
qq_29883477的博客
09-10 1268
使用检索增强生成 (RAG) 从外部知识源检索相关信息使大型语言模型 (LLM) 能够回答来自私有和/或之前未见过的文档集合的问题。然而，对于针对整个文本语料库的全局问题，如“数据集中的主要主题是什么？”RAG 却失败了，因为这本质上是一个查询聚焦摘要 (QFS) 任务，而不是一个明确的检索任务。与此同时，先前的 QFS 方法无法扩展到典型 RAG 系统索引的文本数量。为了结合这些对比方法的优点，作者提出了一种图 RAG 方法，用于在私有文本语料库上进行基于问题的回答。
LangChain4j系列：带你入门LangChain4j框架
2301_81940605的博客
07-05 9227
本文所有示例均在 langchain4j 0.31.0 版本之上进行，langchain4j也是在快速发展的阶段。
GraphRAG实践：docker部署neo4j
xiezhipu的博客
12-31 1558
随着图数据库（Graph Database）的流行，越来越多的应用场景开始采用图数据库来处理复杂的关系数据。Neo4j作为领先的图数据库之一，提供了强大的图形查询语言Cypher、高效的存储结构和丰富的生态系统，使得它成为开发人员构建关联性数据分析应用的理想选择。本文将指导您如何使用Docker容器化技术快速部署Neo4j，并通过GraphRAG（Graph Retrieval and Generation，图检索与生成框架）来实践其在实际项目中的应用。Docker简介Neo4j概述。
Java程序员的AI之LangChain4j（一）从零到企业级AI开发
qq1071643762的博客
10-12 9544
让JAVA程序员更快的理解AI接入的LangChain4j
Java开发者LLM实战——使用LangChain4j构建本地RAG系统
h1453586413的博客
01-28 1664
RAG（Retrieval-Augmented Generation）的核心思想是：将传统的信息检索（IR）技术与现代的生成式大模型（如chatGPT）结合起来。具体来说，RAG模型在生成答案之前，会首先从一个大型的文档库或知识库中检索到若干条相关的文档片段。再将这些检索到的片段作为额外的上下文信息，输入到生成模型中，从而生成更为准确和信息丰富的文本。RAG的工作原理可以分为以下几个步骤：1.接收请求：首先，系统接收到用户的请求（例如提出一个问题）。
Java程序员的AI之LangChain4j（二）从零到企业级AI开发
qq1071643762的博客
10-12 3175
本文主要让你更加的掌握LangChain4J，举例子，以及源代码，学习了什么是AiService以及基本应用，制作了一个用户可以指定字数和标题的作家应用，同时还研究了AiService的基本工作原理和源码，其中再次提到了ChatMemory，那么下篇内容我们就来介绍到底什么是ChatMemory。
使用 Neo4j 和 Langchain 进行知识图谱创建
2301_76225313的博客
07-01 1215
这种结构允许高效地回答复杂的查询，例如“找出所有在[年份]发布的电影，其中包含演员X”，还允许深入的分析，例如识别演员职业生涯中的模式或了解电影类型随时间的变化趋势。我们将使用 Neo4j，它帮助我们管理和结构化我们的图形，以及 Langchain，它帮助我们处理文本。该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
LangChain4j-RAG基础
Box_clf的博客
07-27 2347
对于矢量搜索，这通常涉及清理文档，用额外的数据和元数据丰富它们，将它们分成更小的片段（也称为分块），嵌入这些片段，最后将它们存储在嵌入存储（又称为矢量数据库）中。这里需要结合官方的示例学习, Metadata算是一个很重要的东西, 可以按照我们想要的方式把不同的文档数据进行隔离和过滤, 这样可以实现私有知识库的隔离。但是，在某些情况下，最终用户可能希望上传其自定义文档，以便 LLM 可以访问它们。LangChain4j 提供了一组丰富的 API，可以轻松构建自定义 RAG 管道，从简单的管道到高级的管道。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

风翔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值