【LLM大模型】实战微软新一代RAG：GraphRAG

Python秒杀

于 2024-07-29 10:30:43 发布

阅读量401

点赞数 2

文章标签： langchain AI产品经理人工智能产品经理 chatgpt LLM 大模型

本文链接：https://blog.csdn.net/pythonhy/article/details/140764852

版权

本月初，微软发布最强 RAG知识库，开源方案 GraphRAG，项目上线即爆火，现在星标量已经达到 12.1 k。

在这里插入图片描述

其意义在于，它能提升LLM的应答速度与品质，同时优化RAG能力的体验。它解决了基于向量的RAG在大规模文档环境下的理解与总结问题。具体实现步骤如下：

利用LLM在原始文档中抽取实体事件关系，构建知识图谱。
为关系密切的实体群预生成社区摘要。在提问时，各个社区摘要生成部分回应，最终汇总为完整答案。

本文是一篇偏实战的文档，RAG和LLM相关的原理在此就不多做赘述，接下来让我们尝试复现GraphRAG，揭开其神秘的面纱。

安装

坑：py版本目前3.11是最顺利的

我这里为了方便修改调试，直接在github上拉了原始代码下来编译，如果大家不想折腾，可以在microsoft.github.io/graphrag/po…找到源码以外的安装方式。

shell
 代码解读
git clone https://github.com/microsoft/graphrag.git

整个项目是基于poetry构建的，所以在准备好graphrag的源码之后，我们需要安装python环境，这里通过作者的不断踩坑，目前py3.11版本是最顺利的。

准备一个venv虚拟环境，并激活

shell
 代码解读
python3.11 -m venv venv # 创建一个pyenv环境  
source venv/bin/active # 激活这个env环境

安装poetry

shell
 代码解读
pip3 install poetry # 安装poetry

安装好poetry之后，我们执行以来的安装

shell
 代码解读
poetry install

上述操作一切就绪之后，让我们开始初始化项目。

shell
 代码解读
poetry run poe index --init --root .

input目录，存放需要索引的文件，默认配置只支持txt，当然也可以修改settings.yaml。
output目录，存储生成的图、以及总结、日志等信息，如果生成过程中存在出错了，就可以在这里找到日志。
prompts目录，存储默认的4个提示词文件：claim_extraction.txt、community_report.txt、entity_extraction.txt、summarize_descriptions.txt。
cache目录，用于缓存提取实体和摘要等，能够减少LLM调用
.env文件中只包含一个字幕GRAPHRAG_API_KEY，用于设置你的LLM API_KEY，当然你可以忽略，在settings.yaml直接改也是可以的，不过建议不要上生产环境。
settings.yaml 文件较为复杂，配置项目也较多，运行本项目只需要修改两个。

修改配置文件settings.yaml

由于GraphRAG是基于OpenAI的库构建的，所以settings.yaml中基本都是基于OpenAI的字段定义的，为了解决这个问题我们需要使用能兼容OpenAI协议的大模型来平替。（PS：因为OpenAI太贵了，富哥也可以直接上GPT）

国内的话能够适配OpenAI SDK协议的有千问和月之暗面，大家可以自行选择。

这里我才用了千问的接口做实验，千问新账号免费100w token做实现绰绰有余。

在使用千问的时候有一些坑，需要关注下 1.top_p 必须设置0-1之间，要小于1，比如0.99这样。 2.max_tokens 必须设置为2000，超过会报错。 3.还有其他未知的错误，不要使用qwen-long，好像输入过长就会报错，让你走文件上传，建议使用qwen-turbo。参考自：blog.csdn.net/Python_coco…

解决了llm之后，咱们还需要一个embed模型，这里我们使用qwen的7B模型，这里涉及到qwen环境的部署，就不多做描述，如有需要咱再来一篇文章讲一下如何在本地搭建qwen7B的模型。

这里贴上我改好的配置文件，各位可以自取，填上Token就可以启动。

yaml
 代码解读
encoding_model: cl100k_base
skip_workflows: []
llm:
  api_key:  # 这里写一个API Key随意即可
  type: openai_chat # or azure_openai_chat
  model: gpt-4-turbo-preview
  model_supports_json: true # recommended if this is available for your model.
  max_tokens: 2000  # 千问限制
  # request_timeout: 180.0
  api_base: https://dashscope.aliyuncs.com/compatible-mode/v1 
  # api_version: 2024-02-15-preview
  # organization: 
  # deployment_name: 
  tokens_per_minute: 30000 # set a leaky bucket throttle
  requests_per_minute: 30 # set a leaky bucket throttle
  max_retries: 3
  max_retry_wait: 10
  sleep_on_rate_limit_recommendation: true # whether to sleep when azure suggests wait-times
  concurrent_requests: 1 # the number of parallel inflight requests that may be made
  # temperature: 0 # temperature for sampling
  top_p: 0.5 # 千问限制
  # n: 1 # Number of completions to generate

parallelization:
  stagger: 0.3
  # num_threads: 50 # the number of threads to use for parallel processing

async_mode: threaded # or asyncio

embeddings:
  ## parallelization: override the global parallelization settings for embeddings
  async_mode: threaded # or asyncio
  llm:
	api_key: ${GRAPHRAG_API_KEY}   
    type: openai_embedding # or azure_openai_embedding
    model: text-embedding-ada-002
    api_base: http://localhost:8080  # 本地的embed sever地址。
    # tokens_per_minute: 150_000 # set a leaky bucket throttle
    # requests_per_minute: 10_000 # set a leaky bucket throttle
    # max_retries: 10
    # max_retry_wait: 10.0
    # sleep_on_rate_limit_recommendation: true # whether to sleep when azure suggests wait-times
    # concurrent_requests: 25 # the number of parallel inflight requests that may be made
    # batch_size: 16 # the number of documents to send in a single request
    # batch_max_tokens: 8191 # the maximum number of tokens to send in a single request
    # target: required # or optional

索引构建

解决完环境问题之后，咱们就开始了漫长的索引过程，启动索引的命令如下所示。

shell
 代码解读
poetry run poe index --root .

这是一个漫长的过程，我索引的《全频段阻塞》全文大概2.9w字，花了30分钟左右。

下面是构建知识图谱的过程的截图。

1.提取文章中的实体关系，构建缓存。

在这里插入图片描述

2.基于实体关系构建实体实现联系。

在这里插入图片描述

使用

这里的查询方式有两种：

局部查询：通过将 AI 提取到知识图谱中的相关数据与原始文档的文本块相结合来生成答案，此方法适用于需要了解文档中提到的特定实体的问题。
全局查询：全局查询方法通过以 map-reduce 方式搜索所有 AI 生成的社区报告来生成答案。这是一种资源密集型方法，需要LLM支持的context window足够大，最好是32K的模型，但通常可以很好地回答需要了解整个数据集的问题。

局部查询

arduino
 代码解读
poetry run poe query --root . --method local "塘沽前线发生了什么"

查询结果如下所示

在这里插入图片描述

能大概检索出事件的前因后果，不过局限性是他是基于抽取的实体查询的，如果抽取的LLM能力不足的话，可能就会导致局部查询效果不佳的问题。

全局查询

arduino
 代码解读
poetry run poe query --root . --method global "xxx"

这里俺的API扛不住，就没有测试，有能力的富哥可以自行尝试，命令俺贴上了。

总结

1.它是基于LLM构建的知识图谱，在构建过程中会消耗大量的Token，其中本次测试2.9w花费了大概13w token。

2.它支持2种搜索方法，局部和全局，全局效果最好，但是对模型的token处理能力有要求。

3.框架仅支持OpenAI SDK协议的的LLM，国内目前只有千问和月之暗面可以，如果精力充足的网友也可以基于OpenAI的协议魔改自己想要接入的大模型，其实就是封装一个网关。

如何系统的去学习AI大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套《LLM大模型入门+进阶学习资源包》，扫码获取~

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。那以下这些PDF籍就是非常不错的学习资源。

在这里插入图片描述

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
  - L1.4.1 知识大模型
  - L1.4.2 生产大模型
  - L1.4.3 模型工程方法论
  - L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
  - L2.1.1 OpenAI API接口
  - L2.1.2 Python接口接入
  - L2.1.3 BOT工具类框架
  - L2.1.4 代码示例
- L2.2 Prompt框架
  - L2.2.1 什么是Prompt
  - L2.2.2 Prompt框架应用现状
  - L2.2.3 基于GPTAS的Prompt框架
  - L2.2.4 Prompt框架与Thought
  - L2.2.5 Prompt框架与提示词
- L2.3 流水线工程
  - L2.3.1 流水线工程的概念
  - L2.3.2 流水线工程的优点
  - L2.3.3 流水线工程的应用
- L2.4 总结与展望

阶段3：AI大模型应用架构实践

目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
内容：
- L3.1 Agent模型框架
  - L3.1.1 Agent模型框架的设计理念
  - L3.1.2 Agent模型框架的核心组件
  - L3.1.3 Agent模型框架的实现细节
- L3.2 MetaGPT
  - L3.2.1 MetaGPT的基本概念
  - L3.2.2 MetaGPT的工作原理
  - L3.2.3 MetaGPT的应用场景
- L3.3 ChatGLM
  - L3.3.1 ChatGLM的特点
  - L3.3.2 ChatGLM的开发环境
  - L3.3.3 ChatGLM的使用示例
- L3.4 LLAMA
  - L3.4.1 LLAMA的特点
  - L3.4.2 LLAMA的开发环境
  - L3.4.3 LLAMA的使用示例
- L3.5 其他大模型介绍