实战使用 GraphRAG 索引整本《西游记》，解锁黑悟空通关路

小天才学习机打游戏

于 2024-09-15 10:45:00 发布

阅读量707

点赞数 29

文章标签： flask python 后端金融人工智能深度学习架构

本文链接：https://blog.csdn.net/m0_59164520/article/details/142262240

版权

最近游戏科学的《黑神话：悟空》爆火，然而我发现为啥好多妖怪妖精我都记不得了呢？怎么和我小时候看的动画版西游记不一样呢？亢金星君是谁？白衣秀士是谁？广智？金池长老？老了呀，都不记得了。本文尝试用 GraphRAG 索引整本《西游记》，带你重温经典。本文分为手调实体、索引、可视化、问答几个部分。另外，我们也会测试一下 GraphRAG 可否识别孙行者、行者孙、者行孙和孙悟空是否为同一个人。

在进入全文之前，我们先看看提取的实体可视化图谱，大约 10 万个实体，看起来像个小宇宙一样。

1. 配置

首先我们下载《西游记》全本 txt 文件，可从github[1]上下载。统计了一下，《西游记》整本书共 100 回，大约 62 万字。我们知道 GraphRAG 索引是比较消耗资源的，一次跑下来可能要消耗 10 倍 Tokens 数量。据了解，最近北京智谱 BigModel 开放平台[2]免费了大模型 GLM-4-FLASH，虽然是个小模型，不过对于我们本次使用足够了。对我来说，最主要是快而且免费，最适合跑这种原型验证了。直接手机号注册，然后右上角获取 API 密钥即可。

获取到如上 Token 之后，设置到 GraphRAG 的.env 文件中。然后我们开始配置 GraphRAG 的 setting.yaml，配置 model 为glm-4-flash、api_base 为https://open.bigmodel.cn/api/paas/v4/。此外，我直接设置每秒 5 并发 LLM 请求和 RPM 300，然后我建议设置 max_retry_wait 和 max_retreis，这样在并发超了限制后，还能重试。

llm:     api_key: ${GRAPHRAG_API_KEY}     type: openai_chat # or azure_openai_chat     model: glm-4-flash     model_supports_json: true # recommended if this is available for your model.     api_base: https://open.bigmodel.cn/api/paas/v4/     max_tokens: 4096     concurrent_requests: 5 # the number of parallel inflight requests that may be made     tokens_per_minute: 1500000 # set a leaky bucket throttle     requests_per_minute: 300 # set a leaky bucket throttle     top_p: 0.99     temperature: 0     max_retries: 3     max_retry_wait: 10     sleep_on_rate_limit_recommendation: true # whether to sleep when azure suggests wait-times

2. 手调实体

在手调实体之前，我们处理一下西游记文本。首先我们写一段脚本将获取的西游记 txt 文件按照章节处理成 csv，这部分代码直接在 bigmodel 平台上问就行，大模型处理脚本类的任务最擅长了。登录 bigmodel 平台后，点击左侧控制台，进入体验中心，就可以愉快对话了。

然后我们试着让他生成一段提取西游记章节名和章节内容的脚本，生成代码如下。

切分后如下图所示，自行调整列标题。

西游记 62 万字共 100 回，那么每章平均有 6200 字。而我们默认的 chunk 配置是 1200 大小，这意味着每章可能会切割为多个 chunk，而且切割后可能大部分的 chunk 都丢失了章节名，这意味着我可能询问某某章节的剧情，或者某某剧情在哪个章节是可能回答错误的。因此在切分的时候，你可能还要给这些 chunk 加一些类似章节名这样的上下文。接下来，咱们先使用 GraphRAG 自动微调设置一下大概的领域和语言。

python -m graphrag.prompt_tune --root . --domain "小说西游记" --language Chinese --chunk-size 1200 --output prompt-xiyou --config settings.yaml

然后我们继续在 bigmodel 上询问《西游记》最好提取哪些实体较好。

它给出了如下的实体建议：人物、地点、法宝、事件和组织等实体，然后我觉得还可以添加妖怪和章节这两个实体。

既然实体已经确定接下来，准备手调。前往 prompt-xiyou 目录，在文件 entity_extration.txt 修改为我们想要的实体，然后拷贝 Prompt 到 bigmodel 对话框中，让它生成 Example。这一步最好记得左侧模型选择最好的模型 glm-4-plus。因为我们后面会使用模型能力弱一些的 glm-4-flash 来提取实体，你用一个好的老师来教它，岂不是事半功倍？

拷贝内容如下，部分内容较长的已经省略了。

    -Goal-   Given a text document that is potentially relevant to this activity and a list of entity types, identify all entities of those types from the text and all relationships among the identified entities.      -Steps-   1. Identify all entities. For each identified entity, extract the following information:   - entity_name: Name of the entity, capitalized   - entity_type: One of the following types: [人物 地点 事件 法宝 妖怪 组织 章节]   ....      -Examples-   ######################      Example 1:      entity_types: [人物 地点 事件 法宝 妖怪 组织 章节]   text:   目录：第八回　我佛造经传极乐　观音奉旨上长安   试问禅关，参求无数，往往到头虚老。...   ------------------------   output:

它会生成类似如下的实体提取和关系提取案例，可以看到格式非常准确，我们直接拷贝这段代码并替换 entity_extraction.txt 里的 output 后内容即可，然后如法炮制 Example 2。按照我之前测试 ChatGPT 等线上大模型，基本上输出的格式都会有点问题，就比如 ChatGPT 它第一次输出格式基本上是错误的，直接将{tuple_delimiter}替换为<|>输出，所以我一般还得再次要求让它替换。

3. 索引

在索引前，我们还要设置一下 embedding。你可以考虑使用 LM Studio 启动，也可以考虑使用线上模型。我看 bigmodel 上也有Embedding 接口[3]，大家可以自行尝试，毕竟比本地 Embedding 要快嘛。配置完毕，接下来运行命令启动索引。

poetry run poe index --root .

索引过程中遇到一个小错误，遇到内容安全审查错误。不过这个错误不多，全文大概只有几个，我觉得无伤大雅忽略就行。

在这里插入图片描述

几个小时后，索引结束。

可以看到虽然glm-4-flash是一个小模型，具体参数虽然不太清楚，但使用GraphRAG 进行索引基本一次通过，没有看到因为格式错误等问题导致整个 Index 失败的问题。从下图提取的实体来看，准确度还是可以的。

4. 可视化

实体实在太多了，关系错综复杂，导致可视化界面都卡了，但我们依然能看出西游记中主要角色都具有非常大的实体节点。

5. 问答

在开始问答前，我们将 settings.yaml 中的 model 修改为glm-4-plus。之所以问答要修改为更大的模型，是因为 GraphRAG 的问答通常 Prompt 较大，有时候甚至能够打到几万个 Token，当然这个可以通过配置 settigns.yaml 中 query 的 llm 的最大输入调节，但仍然会比较大。因此，小一点模型诸如 glm-4-flash，可能会因为较长的 Prompt 而丢失问题的关键信息。因此，配置更大的模型有利于剔除不相关的上下文，回复正确的答案。配置 Cherry-Studio 就不多说了。我们直接开始问答，先从全局问题开始。

问题 1：这部小说主要讲述了什么故事

问题 2：在主角孙悟空的身上体现了哪些精神？

然后切换到局部问题

问题 3：亢金星君是谁

问题 4：白衣秀士是谁

问题 5：灵吉菩萨的具体经历

问题 6：孙悟空和哪吒一起喝酒了吗？

我记得以前看西游记动画版，孙悟空和哪吒打架之余又躲在某个地方喝酒来着

问题 7：第七十二回盘丝洞七情迷本濯垢泉八戒忘形

在这里插入图片描述

问题 8：孙行者者行孙行者孙孙悟空他们是什么关系

基本上对答如流，不论是纵观全文的回答，还是局部章节回答，都回答地有理有据。

6. 总结

本文主要尝试使用强大的 GraphRAG 配合免费的 glm-4-flash 索引整本西游记，带我们梦回西游。从配置、手调实体、索引、可视化、问答分享如何使用GraphRAG索引整本小说，同时也测试了智谱 bigmodel 平台免费的glm-4-flash在GraphRAG中使用效果。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述