【GraphRAG】深度学习Graph RAG图谱+大模型AI学习

在大数据和人工智能时代，信息检索技术不断演进。RAG（Retrieval Argumented Generation）是一种结合检索技术和生成技术的方法，通过增强生成过程来提高搜索结果的准确性、相关性和多样性。本文将详细介绍一种新兴技术——Graph RAG。

什么是Graph RAG？

• Graph RAG是一种基于知识图谱的检索增强技术。通过构建图模型的知识表达，将实体和关系之间的联系用图的形式展示出来，然后利用大语言模型（LLM）进行检索增强。这种方法将知识图谱视为一个超大规模的词汇表，实体和关系则对应于单词，从而在检索时能够将实体和关系作为单元进行联合建模。
  

Graph RAG 的工作原理

1. 提取实体：从用户输入的查询中提取关键实体。

2. 构建子图：根据提取的实体构建相关的子图，形成上下文。

3. 生成答案：将构建好的子图输入大语言模型，生成答案。

---

代码示例

• 以下是一个简单的Graph RAG代码示例：

def simple_graph_rag(query_str, nebulagraph_store, llm):    ``     entities = _get_key_entities(query_str, llm)     ``     graph_rag_context = _retrieve_subgraph_context(entities)     ``    return _synthesize_answer(query_str, graph_rag_context, llm)``   ``def _get_key_entities(query_str, llm=None ,with_llm=True):`    `...`    `return _expand_synonyms(entities)``   ``def _retrieve_subgraph_context(entities, depth=2, limit=30):`    `...`    `return nebulagraph_store.get_relations(entities, depth, limit)``   ``def _synthesize_answer(query_str, graph_rag_context, llm):`    `return llm.predict(PROMPT_SYNTHESIZE_AND_REFINE,`    `query_str, graph_rag_context)

---

图探索的七种方法

方法1：KG基于向量的检索

• 通过向量相似性查找KG实体，获取连接的文本块并选择性探索关系。该方法非常简单且开箱即用。

query_engine = kg_index.as_query_engine()

方法2：KG基于关键词的检索

• 使用关键词检索相关的KG实体，获取连接的文本块并探索关系以获取更多上下文。

kg_keyword_query_engine = kg_index.as_query_engine(`    `include_text=False,`    `retriever_mode="keyword",`    `response_mode="tree_summarize",``)

方法3：KG混合检索

*结合基于向量的检索和基于关键词的检索，从知识图谱中检索信息并去重。

kg_hybrid_query_engine = kg_index.as_query_engine(`    `include_text=True,`    `response_mode="tree_summarize",`    `embedding_mode="hybrid",`    `similarity_top_k=3,`    `explore_global_knowledge=True,``)

方法4：原生向量索引检索

• 完全基于向量索引构建文档的向量索引，并从中构建向量查询引擎。

vector_index = VectorStoreIndex.from_documents(wiki_documents + youtube_documents)``vector_query_engine = vector_index.as_query_engine()

方法5：自定义组合查询引擎（KG检索和向量索引检索的组合）

• 结合知识图谱检索和向量检索，利用二者的优势提高搜索结果的准确性和相关性。

from llama_index import QueryBundle``from llama_index.schema import NodeWithScore``from llama_index.retrievers import BaseRetriever, VectorIndexRetriever, KGTableRetriever``   ``class CustomRetriever(BaseRetriever):`    `def __init__(self, vector_retriever: VectorIndexRetriever, kg_retriever: KGTableRetriever, mode: str = "OR"):`        `self._vector_retriever = vector_retriever`        `self._kg_retriever = kg_retriever`        `if mode not in ("AND", "OR"):`            `raise ValueError("Invalid mode.")`        `self._mode = mode``   `    `def _retrieve(self, query_bundle: QueryBundle) -> List[NodeWithScore]:`        `vector_nodes = self._vector_retriever.retrieve(query_bundle)`        `kg_nodes = self._kg_retriever.retrieve(query_bundle)``   `        `vector_ids = {n.node.node_id for n in vector_nodes}`        `kg_ids = {n.node.node_id for n in kg_nodes}``   `        `combined_dict = {n.node.node_id: n for n in vector_nodes}`        `combined_dict.update({n.node.node_id: n for n in kg_nodes})``   `        `if self._mode == "AND":`            `retrieve_ids = vector_ids.intersection(kg_ids)`        `else:`            `retrieve_ids = vector_ids.union(kg_ids)``   `        `retrieve_nodes = [combined_dict[rid] for rid in retrieve_ids]`        `return retrieve_nodes

方法6：KnowledgeGraphQueryEngine

• 一个允许用自然语言查询知识图谱的查询引擎。

query_engine = KnowledgeGraphQueryEngine(`    `storage_context=storage_context,`    `service_context=service_context,`    `llm=llm,`    `verbose=True,``)

方法7：KnowledgeGraphRAGRetriever

• 在知识图谱上执行Graph RAG查询的检索引擎。

graph_rag_retriever = KnowledgeGraphRAGRetriever(`    `storage_context=storage_context,`    `service_context=service_context,`    `llm=llm,`    `verbose=True,``)``   ``kg_rag_query_engine = RetrieverQueryEngine.from_args(`    `graph_rag_retriever, service_context=service_context``)

总结

• 它不仅解决了传统方法的瓶颈，还提供了多种图探索方法，进一步提升了检索和生成的质量和多样性。随着技术的不断发展，Graph RAG将在更多领域展现其强大的应用潜力。

---

如何学习大模型 AI ？

• 由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
• 但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

---

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

---

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

---

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

---

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。