GraphRAG实战复现：使用gpt-4o-mini构建近2万字文本知识索引+本地/全局检索对比测试

1.准备工作

1.1环境配置

anaconda:提供python虚拟环境，官网下载对应系统版本的安装包安装即可

pycharm:提供集成开发环境，官网下载社区版本安装包安装即可

1.2生成的文件类型

Dcoument 输入文档txt形式

TextUnit 要分析的文本块，Dcoument和TextUnit的关系是1：N

Entity 从TextUnit中提取的实体

Relationship 两个实体之间的关系，关系由Covariate协变量生成

Covariate 协变量，提取声明信息，其中包含实体的声明

CommunityReport 社群报告，实体生成之后对其执行分层社群检测，并为该分层的每个社群生成报告

Node 节点，实体和文档渲染图的布局信息

2.构建graph RAG

2.1下载源码

https://github.com/NanGePlus/GraphragTest

2.2构建项目

使用pycharm构建一个项目，为项目配置虚拟python环境 ，其项目名称为graphrag

2.3安装项目依赖

pip install -r requirements.txt 

其中规定了所有包的相关版本，如下

fastapi==0.112.0
uvicorn==0.30.6
pandas==2.2.2
tiktoken==0.7.0
graphrag==0.3.0
pydantic==2.8.2
python-dotenv==1.0.1
asyncio==3.4.3
aiohttp==3.10.3
numpy==1.26.4
scikit-learn==1.5.1
matplotlib==3.9.2
seaborn==0.13.2
nltk==3.8.1
spacy==3.7.5
transformers==4.44.0
torch==2.2.2
torchvision==0.17.2
torchaudio==2.2.2

注意: 本视频使用是截止现在最新graphrag版本0.3.0

2.4创建graphrag的所需文件夹

在虚拟环境中输入以下命令：

mkdir -p ./ragtest          
cd ragtest     
mkdir -p ./input         
mkdir -p ./inputs         
mkdir -p ./cache   

2.5准备测试文件txt

以西游记白话文前九回内容为例，将other/text/下的1-9.txt文件直接放入ragtest/input文件夹下

其中以第一回为例展示一下内容

第1回 惊天地美猴王出世

  　　这是一个神话故事，传说在很久很久以前，天下分为东胜神洲、西牛贺洲、南赡部洲、北俱芦洲。在东胜神洲傲来国，有一座花果山，山上有一块仙石，一天仙石崩裂，从石头中滚出一个卵，这个卵一见风就变成一个石猴，猴眼射出一道道金光，向四方朝拜。
　　那猴能走、能跑，渴了就喝些山涧中的泉水，饿了就吃些山上的果子。
　　整天和山中的动物一起玩乐，过得十分快活。一天，天气特别热，猴子们为了躲避炎热的天气，跑到山涧里洗澡。它们看见这泉水哗哗地流，就顺着涧往前走，去