GraphRAG可视化方案

最新推荐文章于 2024-10-15 09:48:22 发布

Johntill

最新推荐文章于 2024-10-15 09:48:22 发布

阅读量856

点赞数 24

分类专栏： RAG 文章标签：人工智能

本文链接：https://blog.csdn.net/Johntill/article/details/142380487

版权

RAG 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

最佳实践｜GraphRAG可视化方案

/Users/jiaenqiu/Downloads/big_model/graphrag

通过 GraphRAG 构建索引数据后，把图数据存储在Parquet文件，在 GraphRAG 执行query时，是使用Python的Pandas库从Parquet文件中读取数据，并将结果存储在一个Pandas DataFrame对象中，然后进行一些数据处理查询。

疑问：GraphRAG构建的图谱是什么样子的？质量如何？检索效果不好时，该从哪个角度分析数据进而完善图数据？那么可视化是最直观、最简便的方案了，今天我们一起看一下GraphRAG可视化方案的最佳实践。

了解DataFrame数据结构
一、快速搭建一个Neo4j图数据库
二、文件格式转换：批量Parquet转CSV
三、Neo4j Cypher语句批量导入CSV

在这里插入图片描述

了解DataFrame数据结构

DataFrame是Pandas中最常用的数据结构之一，它可以存储不同类型的数据（整数、浮点数、字符串等），并且每列可以有不同的数据类型。DataFrame具有许多内置方法，使得数据处理和分析变得简单直观。

Pandas DataFrame 主要特点：

索引：DataFrame具有行索引和列索引，可以轻松地按标签进行选择和操作；
列名：每列都有一个名字，可以通过列名访问数据；
数据类型：每列可以有不同的数据类型；
灵活的数据操作：提供了丰富的数据操作方法，如选择、切片、过滤、聚合等。

一、快速搭建一个Neo4j图数据库

version: "3.0"
services:
  neo4j:
    image: "neo4j:4.4.4-community"
    restart: always
    ports:
      - "7474:7474"
      - "7687:7687"
    volumes:
      - ./data/neo4j:/data
      - ./logs:/var/lib/neo4j/logs
      - ./import:/var/lib/neo4j/import
    environment:
      - NEO4J_AUTH=neo4j/123456

二、文件格式转换：批量parquet转csv

# pip install pandas pyarrow
import os
import pandas as pd

def process_parquet_files(path):
    for root, dirs, files in os.walk(path):
        for file in files:
            if file.endswith('.parquet'):
                file_path = os.path.join(root, file)
                df = pd.read_parquet(file_path)
                print(f"Processing file: {file_path}")
                out_path = os.path.join(root, '../csv', str(file).replace('parquet', 'csv'))
                df.to_csv(out_path, index=False)

path = './graphrag/ragtest/output/20240910-120001/artifacts'
process_parquet_files(path)

三、Neo4j cypher语句批量导入csv

3.1 CSV文件准备

确保CSV文件的格式正确，每一列对应一个属性
准备节点关系的CSV文件
CSV文件应该有一个头行，用来指定每个字段对应的属性名
将文件放到 Neo4j 子目录 import 下即可

3.2 访问 Neo4j 可视化UI

http://localhost:7474/browser/
用户名/密码：neo4j/123456

3.3 使用Cypher命令行方式批量导入CSV

3.3.1 Node节点导入

LOAD CSV WITH HEADERS FROM 'file:///create_final_entities.csv' AS row
CREATE (n:PERSON)
SET 
    n.id = row.id,
    n.name = row.name,
    n.type = row.type,
    n.description = row.description,
    n.humanReadableId = row.human_readable_id;

3.3.2 Relationship关系导入

LOAD CSV WITH HEADERS FROM 'file:///create_final_relationships.csv' AS row
MATCH (s:PERSON { name: toString(row.source) })
MATCH (t:PERSON { name: toString(row.target) }) 
CREATE (t)-[r:REL]->(s)
SET 
    r.weight = row.weight, 
    r.description = row.description,
    r.textUnitIds = split(row.text_unit_ids, ','), 
    r.id = row.id,
    r.humanReadableId = row.human_readable_id,
    r.sourceDegree = toInteger(row.source_degree), 
    r.targetDegree = toInteger(row.target_degree), 
    r.rank = toInteger(row.rank);

注意事项：

如果使用Cypher导入，请确保Neo4j服务正在运行，并且你有足够的权限执行这些操作。
考虑到性能问题，对于非常大的数据集，推荐使用neo4j-admin import工具。
确保Neo4j服务未运行或者处于离线模式，因为neo4j-admin import会在执行过程中锁定数据库。

在这里插入图片描述