实战微软新一代RAG：GraphRAG

最新推荐文章于 2024-07-22 10:22:33 发布

幻丶城

最新推荐文章于 2024-07-22 10:22:33 发布

阅读量841

点赞数 16

分类专栏：大模型技术文章标签： microsoft

本文链接：https://blog.csdn.net/qq_26584917/article/details/140581072

版权

大模型技术专栏收录该内容

1 篇文章 0 订阅

订阅专栏

本月初，微软发布最强 RAG知识库，开源方案 GraphRAG，项目上线即爆火，现在星标量已经达到 12.1 k。
在这里插入图片描述

其意义在于，它能提升LLM的应答速度与品质，同时优化RAG能力的体验。它解决了基于向量的RAG在大规模文档环境下的理解与总结问题。具体实现步骤如下：

利用LLM在原始文档中抽取实体事件关系，构建知识图谱。
为关系密切的实体群预生成社区摘要。在提问时，各个社区摘要生成部分回应，最终汇总为完整答案。

本文是一篇偏实战的文档，RAG和LLM相关的原理在此就不多做赘述，接下来让我们尝试复现GraphRAG，揭开其神秘的面纱。

安装

坑：py版本目前3.11是最顺利的

我这里为了方便修改调试，直接在github上拉了原始代码下来编译，如果大家不想折腾，可以在https://microsoft.github.io/graphrag/posts/get_started/找到源码以外的安装方式。

git clone https://github.com/microsoft/graphrag.git

整个项目是基于poetry构建的，所以在准备好graphrag的源码之后，我们需要安装python环境，这里通过作者的不断踩坑，目前py3.11版本是最顺利的。

准备一个venv虚拟环境，并激活

python3.11 -m venv venv # 创建一个pyenv环境  
source venv/bin/active # 激活这个env环境

安装poetry

pip3 install poetry # 安装poetry

安装好poetry之后，我们执行以来的安装

poetry install

上述操作一切就绪之后，让我们开始初始化项目。

poetry run poe index --init --root .

input目录，存放需要索引的文件，默认配置只支持txt，当然也可以修改settings.yaml。
output目录，存储生成的图、以及总结、日志等信息，如果生成过程中存在出错了，就可以在这里找到日志。
prompts目录，存储默认的4个提示词文件：claim_extraction.txt、community_report.txt、entity_extraction.txt、summarize_descriptions.txt。
cache目录，用于缓存提取实体和摘要等，能够减少LLM调用
.env文件中只包含一个字幕GRAPHRAG_API_KEY，用于设置你的LLM API_KEY，当然你可以忽略，在settings.yaml直接改也是可以的，不过建议不要上生产环境。
settings.yaml 文件较为复杂，配置项目也较多，运行本项目只需要修改两个。

修改配置文件settings.yaml

由于GraphRAG是基于OpenAI的库构建的，所以settings.yaml中基本都是基于OpenAI的字段定义的，为了解决这个问题我们需要使用能兼容OpenAI协议的大模型来平替。（PS：因为OpenAI太贵了，富哥也可以直接上GPT）

国内的话能够适配OpenAI SDK协议的有千问和月之暗面，大家可以自行选择。

这里我才用了千问的接口做实验，千问新账号免费100w token做实现绰绰有余。

在使用千问的时候有一些坑，需要关注下 1.top_p 必须设置0-1之间，要小于1，比如0.99这样。 2.max_tokens 必须设置为2000，超过会报错。 3.还有其他未知的错误，不要使用qwen-long，好像输入过长就会报错，让你走文件上传，建议使用qwen-turbo。参考自：https://blog.csdn.net/Python_cocola/article/details/140279385

解决了llm之后，咱们还需要一个embed模型，这里我们使用qwen的7B模型，这里涉及到qwen环境的部署，就不多做描述，如有需要咱再来一篇文章讲一下如何在本地搭建qwen7B的模型。

这里贴上我改好的配置文件，各位可以自取，填上Token就可以启动。

encoding_model: cl100k_base
skip_workflows: []
llm:
  api_key:  # 这里写一个API Key随意即可
  type: openai_chat # or azure_openai_chat
  model: gpt-4-turbo-preview
  model_supports_json: true # recommended if this is available for your model.
  max_tokens: 2000  # 千问限制
  # request_timeout: 180.0
  api_base: https://dashscope.aliyuncs.com/compatible-mode/v1 
  # api_version: 2024-02-15-preview
  # organization: 
  # deployment_name: 
  tokens_per_minute: 30000 # set a leaky bucket throttle
  requests_per_minute: 30 # set a leaky bucket throttle
  max_retries: 3
  max_retry_wait: 10
  sleep_on_rate_limit_recommendation: true # whether to sleep when azure suggests wait-times
  concurrent_requests: 1 # the number of parallel inflight requests that may be made
  # temperature: 0 # temperature for sampling
  top_p: 0.5 # 千问限制
  # n: 1 # Number of completions to generate

parallelization:
  stagger: 0.3
  # num_threads: 50 # the number of threads to use for parallel processing

async_mode: threaded # or asyncio

embeddings:
  ## parallelization: override the global parallelization settings for embeddings
  async_mode: threaded # or asyncio
  llm:
	api_key: ${GRAPHRAG_API_KEY}   
    type: openai_embedding # or azure_openai_embedding
    model: text-embedding-ada-002
    api_base: http://localhost:8080  # 本地的embed sever地址。
    # tokens_per_minute: 150_000 # set a leaky bucket throttle
    # requests_per_minute: 10_000 # set a leaky bucket throttle
    # max_retries: 10
    # max_retry_wait: 10.0
    # sleep_on_rate_limit_recommendation: true # whether to sleep when azure suggests wait-times
    # concurrent_requests: 25 # the number of parallel inflight requests that may be made
    # batch_size: 16 # the number of documents to send in a single request
    # batch_max_tokens: 8191 # the maximum number of tokens to send in a single request
    # target: required # or optional

索引构建

解决完环境问题之后，咱们就开始了漫长的索引过程，启动索引的命令如下所示。

poetry run poe index --root .

这是一个漫长的过程，我索引的《全频段阻塞》全文大概2.9w字，花了30分钟左右。

下面是构建知识图谱的过程的截图。

1.提取文章中的实体关系，构建缓存。

在这里插入图片描述

2.基于实体关系构建实体实现联系。

在这里插入图片描述

使用

这里的查询方式有两种：

局部查询：通过将 AI 提取到知识图谱中的相关数据与原始文档的文本块相结合来生成答案，此方法适用于需要了解文档中提到的特定实体的问题。
全局查询：全局查询方法通过以 map-reduce 方式搜索所有 AI 生成的社区报告来生成答案。这是一种资源密集型方法，需要LLM支持的context window足够大，最好是32K的模型，但通常可以很好地回答需要了解整个数据集的问题。

局部查询

poetry run poe query --root . --method local "塘沽前线发生了什么"

查询结果如下所示

在这里插入图片描述

能大概检索出事件的前因后果，不过局限性是他是基于抽取的实体查询的，如果抽取的LLM能力不足的话，可能就会导致局部查询效果不佳的问题。

全局查询

poetry run poe query --root . --method global "xxx"

这里俺的API扛不住，就没有测试，有能力的富哥可以自行尝试，命令俺贴上了。

总结

1.它是基于LLM构建的知识图谱，在构建过程中会消耗大量的Token，其中本次测试2.9w花费了大概13w token。

2.它支持2种搜索方法，局部和全局，全局效果最好，但是对模型的token处理能力有要求。

3.框架仅支持OpenAI SDK协议的的LLM，国内目前只有千问和月之暗面可以，如果精力充足的网友也可以基于OpenAI的协议魔改自己想要接入的大模型，其实就是封装一个网关。

参考文献

[1] https://blog.csdn.net/Python_cocola/article/details/140279385

[2] https://microsoft.github.io/graphrag/posts/developing/

[3] https://www.jiqizhixin.com/articles/2024-07-15-13

[4] https://github.com/microsoft/graphrag?tab=readme-ov-file

幻丶城

关注

16
点赞
踩
12

收藏

觉得还不错? 一键收藏
0
评论
实战微软新一代RAG：GraphRAG

1.它是基于LLM构建的知识图谱，在构建过程中会消耗大量的Token，其中本次测试2.9w花费了大概13w token。2.它支持2种搜索方法，局部和全局，全局效果最好，但是对模型的token处理能力有要求。3.框架仅支持OpenAI SDK协议的的LLM，国内目前只有千问和月之暗面可以，如果精力充足的网友也可以基于OpenAI的协议魔改自己想要接入的大模型，其实就是封装一个网关。
复制链接

扫一扫

专栏目录