图数据库和知识图谱是管理图结构数据（包括节点（实体）和边（关系））的两大主流方案。图数据库利用基于图的数据模型存储信息，支持通过专用的图查询语言实现对图数据的查询和遍历；知识图谱通过整合推理和派生新知识的机制，增强了图数据库的功能。这种增强的表达力不仅让你能进行更高级的数据分析，还能从图中相互连接的数据点中提取洞察力。
本文将简要介绍知识图谱，再探讨使用 llamaindex 和 NebulaGraph-lite 生成知识图谱。
知识图谱是什么
知识图谱是一种图形化的知识表示方法，它将相关联的概念、事物及其关系描绘成一个网络。它涵盖了现实世界中的实体，如物体、人物、地点和事件。知识图谱的核心通常依赖图数据库，图数据库专注于通过存储离散的信息片段及其之间的关联来管理数据。
知识图谱的核心组成部分包括：实体是现实世界中的事物或概念，包括人、地点、活动和思想总结。在图型表达中，这是一种可视化数据集之间关系的方式，实体在图中表示为节点。
实体的例子包括：
-
人物：巴拉克·奥巴马、塞雷娜·威廉姆斯
-
地点/位置：纽约市、金字塔
-
事件：第二次世界大战、2008 年经济危机
-
抽象/意识形态：民主、重力
关系描述了对象之间的相互作用或联系方式，且展示了它们是如何联系在一起的。在知识图谱中，关系通过边来表示，这些边连接相应的节点。而边的流动方向可以是单向，也可以是双向，这取决于实体关系的性质。
知识图谱的分类
知识图谱拥有以下能力：
-
有效管理和可视化异构信息：能够在统一的框架内处理不同系统的数据，实现清晰且深具洞察力的信息展示。
-
集成新的数据资源：知识图谱固有的灵活性，能很好地同新数据源融合，支持知识库的持续扩充。
-
理解并阐释任何存储信息中的关系：能够发现并展示不同信息库中实体之间的关系，从而全面理解潜在的关联关系。
图谱的主要类型：
-
RDF（资源描述框架）三元组存储：专注于存储和处理基于 RDF 框架的信息，该框架通过三元组（主体、谓语、客体）来表示知识。
-
带标签的属性图：专门研究节点和边附带信息标签的图，提供了更为丰富和细致的数据表现。
RDF（资源描述框架）图
RDF 图，全称资源描述框架图，是用来表示类似网络结构的网络信息的一种方式。基本上，它是一系列围绕主题、谓词和客体组成的声明。以“巴黎是法国的首都”这句话为例，在 RDF 图中，“巴黎”作为主题，“是……的首都”作为谓词，“法国”作为对象（客体）。而这三个元素共同构成了一个“三元组”，代表了一个事实。一个 RDF 图可以包含众多这样的三元组，从而构建成一个互连的信息网络。
资源描述框架（RDF）三元组存储是一种标准化的知识表示数据模型。在这个模型中，每个元素都通过统一资源标识符（URI）被赋予一个独一无二的标识符。这种机制确保主题、谓词和客体的机器可读性。此外，RDF 三元组存储采用了一种名为 SPARQL 的标准化查询语言，该语言支持从存储中检索数据。得益于数据表示和查询的标准化，RDF 三元组存储能够与其他遵循 RDF 框架的知识图谱实现互操作。
上图展示了一个社交网络中的个体（圆形节点 Jack、Joe、Jane），和他们之间的友谊关系（有向连接线 knows）。此外，每个有深色边缘的节点都表示该个体有收入（有向连接线 hasIncome）。菱形节点显示了网络中可能存在的额外数据（三元组）。
RDF 图的优点：
-
互操作性：RDF 是 W3C 的标准，意味着不同的系统可以理解并交换存储在 RDF 图中的数据。这使得它非常适合跨平台和应用程序之间的数据共享。
-
标准化：由于其标准化的格式，RDF 图支持标准查询语言 SPARQL 来探索和分析图中存储的数据。
-
推理与推导：RDF 图能够利用本体（可以视为对概念的正式描述）来进行数据推理。这使系统能够推导出图中没有直接表述的新信息。
-
灵活：RDF 图能够表述多种数据类型和关系，适合模拟复杂的领域和整合不同来源的数据。
RDF 图的缺点：
-
深度搜索复杂：在大型 RDF 图中进行深度搜索的计算成本可能很高，这可能拖慢需要探索多个连接的查询的速度。
-
结构严格：RDF 数据以“三元组”（主体、谓语、客体）的形式存储，这种结构可能不如其他图模型那样灵活，后者允许对实体或关系本身添加属性。
-
学习曲线陡峭：理解和使用 RDF 需要良好地掌握其基本概念及 SPARQL 查询语言，这对新用户来说可能是一个挑战。
带标签的属性图 (LPG)
带标签的属性图（LPG）是一种用于表现具有相互连接的服务及其关系的特殊图数据库模型。以下是其主要特点的详细解释：
-
节点：可表示现实中的男性或女性特征。每个节点都具有独特的描述，并可被赋予一个或多个标签以表明其类型或大小（例如，“人物”、“产品”）。
-
属性：节点可能拥有键值对，用以存储关于该实体的额外信息。这些属性允许对图中的元素进行基本描述。
-
边：表示节点之间的联系，并展示实体间的关系。边与节点类似，可以用多种方式标记（例如，“认识”、“购买”），同时也可以拥有自己的属性。
LPG 的主要特性：
-
丰富的数据结构：节点和边都能拥有属性，与其他模型如 RDF 相比，允许更密集和信息量更大的数据表现。
-
高效的存储与查询：LPG 结构通常能带来高效的存储方式和更快速的图内连接遍历，便于进行查询。
-
灵活：LPG 由于没有预定义的模式，具备很高的灵活性，允许模拟多种数据关系。
RDF vs 属性图
属性图与 LLM 模型结合的智能问答
属性图和大型语言模型（LLM）是两个强大的工具，可以结合使用，从数据中挖掘出新线索。以下是它们如何协作的具体方式：
数据增强：dou bao z
-
LLM 可用于生成属性图中点和边的文本描述，这样不仅可以丰富数据内容，还能帮助其他工具或用户更加容易地理解各项关系。
-
LLM 还可以基于图中已有的数据生成新的点和边，这对于进行异常检测或预测欺诈行为等任务非常有用。
查询与探索：
-
LLM 可以用来创建查询属性图的自然语言接口，允许用户以比传统的图查询语言更为直观的方式（例如自然语言）对数据进行提问。
-
LLM 也能够汇总图查询结果，并为这些发现生成解释。
推理和推断：
- LLM 可以用于执行属性图上的推理任务，这可能包括基于现有数据推断节点间新的关系，或识别图中存在的不一致。
示例演示：
以下展示了使用 Llamaindex KnowledgeGraphIndex 和 NebulaGraph Lite Reference 结合 Google Gemini LLM 和 Collab 分步实现知识图谱的过程。
为 Gemini 生成 API 密钥
前往 https://aistudio.google.com/app/prompts/new_chat 并生成一个新的 API 密钥。
加载 PDF 文档
! mkdir ad && cd ad``! curl https://arxiv.org/pdf/2106.07178.pdf --output AD1.pdf``! mv *.pdf ad/``! pip install -q transformers`` ``%pip install llama_index pyvis Ipython langchain pypdf llama-index-llms-huggingface llama-index-embeddings-langchain llama-index-embeddings-huggingface``%pip install --upgrade --quiet llama-index-llms-gemini google-generativeai``%pip install --upgrade --quiet llama-index-graph-stores-nebula nebulagraph-lite
导入谷歌 API 密钥
import os`` ``from google.colab import userdata``GOOGLE_API_KEY = userdata.get('GOOGLE_API_KEY')``os.environ["GOOGLE_API_KEY"] = GOOGLE_API_KE
导入必要的模块和库
import logging``import sys`` ``logging.basicConfig(stream=sys.stdout, level=logging.INFO)``logging.getLogger().addHandler(logging.StreamHandler(stream=sys.stdout))``from llama_index.core import (` `ServiceContext,` `KnowledgeGraphIndex)``from llama_index.core import SimpleDirectoryReader``from llama_index.core.storage.storage_context import StorageContext``from pyvis.network import Network`` ``from llama_index.llms.huggingface import HuggingFaceLLM
检查支持的 Gemini 模型。本例中，我们将使用 Gemini 1.0 专业版。
import google.generativeai as genai`` ``for m in genai.list_models():` `if "generateContent" in m.supported_generation_methods:` `print(m.name)` `print(m)`` ``from llama_index.llms.gemini import Gemini`` ``llm = Gemini(model="models/gemini-1.0-pro-latest")
导入 BGE 嵌入
from llama_index.embeddings.huggingface import HuggingFaceEmbedding``from llama_index.core import ServiceContext`` `` ``embed_model = HuggingFaceEmbedding(model_name="BAAI/bge-small-en-v1.5")
加载广告目录内容
documents = SimpleDirectoryReader("/content/ad").load_data()``print(len(documents))
在本地启动 Nebula 图数据库精简版的 Docker 实例
from nebulagraph_lite import nebulagraph_let``n = nebulagraph_let(debug=False)``n.start()
在 Nebula 存储中设置名为“nebula_ad”的命名空间和节点
%ngql --address 127.0.0.1 --port 9669 --user root --password nebula`` ``# If not, create it with the following commands from NebulaGraph's console:``%ngql CREATE SPACE nebula_ad(vid_type=FIXED_STRING(256), partition_num=1, replica_factor=1)
import time`` ``print("Waiting...")`` ``# Delay for 10 seconds``time.sleep(10)`` ``%ngql --address 127.0.0.1 --port 9669 --user root --password nebula``%ngql USE nebula_ad;``%ngql CREATE TAG entity(name string);``%ngql CREATE EDGE relationship(relationship string);
将文档数据加载到图数据库中
import os``os.environ["NEBULA_USER"] = "root"``os.environ["NEBULA_PASSWORD"] = "nebula" # default is "nebula"``os.environ[` `"NEBULA_ADDRESS"``] = "127.0.0.1:9669" # assumed we have NebulaGraph installed locally`` ``space_name = "nebula_ad"``edge_types, rel_prop_names = ["relationship"], [` `"relationship"``] # default, could be omit if create from an empty kg``tags = ["entity"] # default, could be omit if create from an empty kg`` ``from llama_index.core import StorageContext``from llama_index.graph_stores.nebula import NebulaGraphStore`` ``graph_store = NebulaGraphStore(` `space_name=space_name,` `edge_types=edge_types,` `rel_prop_names=rel_prop_names,` `tags=tags,``)``storage_context = StorageContext.from_defaults(graph_store=graph_store)`` ``from llama_index.core import Settings`` ``Settings.llm = llm``Settings.embed_model = embed_model``Settings.chunk_size = 512
更新图数据库中的节点数据
# NOTE: can take a while!``index = KnowledgeGraphIndex.from_documents(` `documents,` `storage_context=storage_context,` `max_triplets_per_chunk=10,` `space_name=space_name,` `edge_types=edge_types,` `rel_prop_names=rel_prop_names,` `tags=tags,` `include_embeddings=True``)
检查 Nebula 存储中已插入的图数据
# Query some random Relationships with Cypher``%ngql USE nebula_ad;``%ngql MATCH ()-[e]->() RETURN e LIMIT 10
数据查询与输出：
现在开始查询索引数据
query_engine = index.as_query_engine()
from IPython.display import display, Markdown`` ``response = query_engine.query(` `"Tell me about Anomaly?",``)``display(Markdown(f"<b>{response}</b>"))
异常现象（Anomaly），在不同应用领域也可能被称作异常值、例外、特殊情况、稀有现象或新奇现象，它们指的是与常规、标准或预期显著不同的异常对象。
from IPython.display import display, Markdown`` ``response = query_engine.query(` `"What are graph anomolies?",``)``display(Markdown(f"<b>{response}</b>"))
图异常可以被定义为结构性异常。
小结
这些简单的知识图谱有效地捕捉了实体间的复杂关系，这种能力显著提高了查询和推理的精确性、多样性和复杂性。此外，这些知识图谱还可以扩展应用到基于 RDF 的复杂本体图。
如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
472
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
