知识图谱（knowledge graph）——概述

最新推荐文章于 2024-10-24 15:12:36 发布
最新推荐文章于 2024-10-24 15:12:36 发布
阅读量4.9k 收藏 38
点赞数 3
分类专栏： 知识图谱 文章标签： 知识图谱
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bobobe/article/details/102838147
版权

知识图谱总结

概念

知识图谱（Knowledge Graph）以结构化的形式描述客观世界中概念、实体及其关系。是融合了认知计算、知识表示与推理、信息检索与抽取、自然语言处理、Web技术、机器学习与大数据挖掘等等方向的交叉学科。

技术链概括

  • 知识获取
  • 知识融合
  • 知识表示
  • 知识推理
  • 知识赋能
  • 知识图谱技术图示
    在这里插入图片描述

通用知识图谱和垂直领域知识图谱

在这里插入图片描述
领域知识图谱介绍：复旦肖仰华：领域知识图谱落地实践中的问题与对策

国内外开放知识图谱

  • 国外：早期的常识知识库Cyc、WordNet、ConceptNet等；互联网知识图谱，主要有FreeBase、DBpedia、Schema、Wikidata 、BableNet、Microsofot ConceptGraph，医疗领域Linked Life Data等
  • 国内：中文知识图谱OpenKG，CN-DBpedia，中医药知识图谱，阿里电商知识图谱、美团知识图谱、XLore(清华大学)、Belief-Eigen(中科院)、PKUPie(北京大学)，开放类的中文百科知识图谱(zhishi.me)

技术链详解

知识获取

KG中知识抽取主要从结构化、半结构化、非结构化数据中转为三元组表示的标准知识形态。
在这里插入图片描述

  • 知识获取主要流程
    首先需要数据清洗(正则表达式！）
    在这里插入图片描述在这里插入图片描述

  • 实体抽取(NER)
    目的是识别文本中指定类别的实体，主要包括人 名、 地名、 机构名、 专有名词等的任务“ 姚明（Yao Ming），1980年9月12日出生于上海市徐汇区，祖籍江苏省苏州市吴江区震泽镇，前中国职业篮球运动员，司职中锋，现任中职联公司董事长兼总经理“。如下图所示，命名实体识别主要包含两个部分：实体边界识别与实体分类。

  • 实体关系抽取
    实体关系抽取是知识图谱构建与信息提取的关键环节，主要提取两个或者多个实体之间的某种联系。格式，三元组（实体1，关系，实体2），"北京是中国的首都、政治中心和文化中心 "中实体关系可以表示为（中国、首都、北京）（中国 政治中心 北京）（中国 文化中心 北京）。

    • 限定关系抽取：采用弱监督/监督机器学习进行预定义的实体关系知识抽取，一般为多分类问题，可以直接抽取三元组关系。
    • 开发域关系抽取：预先不进行预定义，系统本身自动抽取实体之间的关系，一般采用无监督学习方法进行自动提取实体之间的关系（三元组）。缺点是抽取的知识缺乏语义化、很难做归一化处理，弱监督学习可以自动生成大规模的训练医疗库，但是会产生噪音数据。
      实体关系抽取和实体链接介绍

  • 事件抽取
    识别文本中关于事件的信息，并以结构化的形式呈现，核心概念包括：事件描述、事件触发词（动词或者名词）、事件元素（实体、时间和属性等表达语义的细粒度单位组成）、元素角色（角色在某件事情上面的语义关系）、事件类型（事件元素和触发词决定事件的类别），如下图所示:
    在这里插入图片描述

知识融合

通过知识获取，实现了从非结构化和半结构化数据中获取实体，关系以及实体属性信息的目标。但是，这些结果中可能包含大量的冗余和错误信息，数据之间的关系也是扁平化的，缺乏层次性和逻辑性，因此有必要对其进行清理和整合，知识融合包括2部分内容：实体链接和知识合并。
本体：知识图谱中本体有点类似于我们学生物时的界门纲目科属种的分类概念，是知识图谱中的概念层，或者说模式层。本体可以用来规定我们的知识图谱中包含哪些领域的知识，知识的类别体系：一共有哪些类别，每种类别下面可以有哪些属性。另外，还能规定例如类别的上下位关系（父类和子类），属性的约束（例如一个人的出生日期的属性只能有1个）等等。本体是关于数据的描述和定义（元数据）。如下图所示，一个知识图谱本体的列表：
在这里插入图片描述
本体知识界定了每个实体应该存在于哪种类别，我们获取到的三元组会被本体匹配算法分类在不同的本体类型下。例如，如果本体是“机场”，那么，一些属于这一类的实体像“大连周子水机场 ”，“ 戴高乐机场 ”，“广州白云机场 ”就会被包括进来。该过程也会涉及到自然语言处理技术的应用。如，我们抽取出的三元组为‘卢浮宫——位于——巴黎’，这是知识库中的单个三元组。在实践中，知识库包括数百万这样的三元组，我们也称之为事实。这些事实都会被归入知识库中对应的本体。
这个过程我们还需要解决一些实体消歧以及共指消解问题。

  • 实体消歧
    给定一段文本：在旧金山的2019春季发布会上，苹果推出新耳机产品Airpods2，文本中的提及“苹果”可能指向的目标实体包括 {苹果(水果)，苹果公司，苹果(电影)，苹果(银行), …}，系统需要根据“苹果”的上下文词语识别出该段文本中“苹果”指的是苹果公司，而不是苹果(水果)或者苹果(电影)。

  • 共指消解
    例如，在一遍文章的开头可能提及到“哈尔滨工业大学”，后面则称为“哈工大”、“工大”等，可能还会提到“这所大学”、“她”这些指代词等，这里所有的词语指向的都是哈工大这同一个实体，我们在提取知识时必须可以辨别出来。

  • 实体链接(Entity Linking)
    实体链接是指对于从文本中抽取得到的实体对象，将其链接到知识库中对应的正确实体对象的操作。实体链接的基本思想是首先根据给定的实体指称项，从知识库中选出一组候选实体对象，然后通过相似度计算将指称项链接到正确的实体对象。
    实体链接的一般流程是：1）从文本中通过实体抽取得到实体指称项；2）进行实体消歧和共指消解，判断知识库中的同名实体与之是否代表不同的含义以及知识库中是否存在其他命名实体与之表示相同的含义；3）在确认知识库中对应的正确实体对象之后，将该实体指称项链接到知识库中对应实体。
    实体链接Entity Linking开源工具：dexter2

  • 实体对齐
    实体（Entity）是指客观存在并可相互区别的事物，包括具体的人、事、物、抽象的概念或联系，知识库中包含多种类别的实体。实体对齐（Entity Alignment）也被称作实体匹配（Entity Matching），是指对于异构数据源知识库中的各个实体，找出属于现实世界中的同一实体。随着中文网络百科的不断完善，可以从网络百科页面抽取出实体，并对不同来源的实体进行对齐，构建高质量的中文异构百科RDF知识库。实体对齐常用的方法是利用实体的属性信息判定不同源实体是否可进行对齐。

  • 知识合并
    1）合并外部知识库
    即将外部知识库融合到本地知识库
    2）合并关系数据库
    将高质量的结构化的关系数据库数据合并到本地知识库

  • 本体构建
    通过知识获取，可以从原始语料中提取出实体，关系和属性等知识要素。再经过知识融合，可以消除实体指称项与实体对象之间的歧义，得到一系列基本的事实表达，然而，事实本身并不等于知识，要想最终获得结构化，网络化的知识体系，还需要经历本体构建，知识推理，质量评估。
    在这里插入图片描述

知识表示

如何利用计算符号运算来表示人脑中的知识和推理过程，知识表示主要有两种，基于离散符号的知识表示法和基于连续向量的知识表示。

  • 基于离散符号的知识表示法
    • RDF(Resource Description Framework) 三元组模型，构建方式主要是主-谓-宾有向标记图和RDFS（simple Vocabularty and schema）。更多RDF的知识详见:RDF
      在这里插入图片描述
    • OWL(Web Ontology language)：是一种W3C开发的网路本体语言，用于对本体进行语义描述。
      在这里插入图片描述
    • SPARQL(Protocol and RDF Query Language) ：RDF的查询语言，支持主流图形数据库。下图URI/IRI为主要网络协议，主要数据存储格式是RDF与XML。
      在这里插入图片描述
  • 基于连续向量的知识表示
    • KG embedding 主要是KG中实体与关系映射到一个低维的向量空间，主要的方法有张量分解、NN、距离模型（现有的词向量模型基于连续向量空间来表示）（Embedding projector）
      在这里插入图片描述
  • 两种方法对比
    在这里插入图片描述

知识推理

根据已有的知识图谱中的事实或者关系推断出新的事实与关系，一般是考察实体、关系和图谱结构三个方面的信息特征。

  • 基于演绎的知识图谱推理
  • 基于归纳的知识图谱推理

知识存储

知识图谱的知识存储一般是采用图形数据库进行存储，主要有两种图数据模型：RDF图和属性图（Property Graph）

  • RDF图
    RDF图是W3C的官方标准，得到了政府和大公司的支持，但最终表现平平。
  • 属性图
    属性图是草根自发的，但最终得到了市场的认可，现在主要是中小企业在用。
  • 查询语言：RDF图：SPARQL； 属性图：Cypher 和 Gremlin
  • 常见图形数据库
    • 基于关系数据库的存储方案
      主要是三元组表（3store）、水平表(DLDB)、属 性表(JENA)、垂直划分(SW-Store)、DB2RDF和六重索引(RDFX-3X、Hexastore)
    • 面向RDF的三元组数据库
      • Jena RDF4J RDF-3X gStore
    • 原生图数据库
      • Neo4j
      • 分布式图形数据库 JanusGraph
      • OrientDB
      • Cayley
    • 图形数据库对比
      在这里插入图片描述

知识图谱构建流程

实体图谱的构建主要有自底向上、自顶向下和二则混合的方法，如下图所示，分别为自底向上和自顶向下：

  • 自底向上
    在这里插入图片描述

  • 自顶向下
    在这里插入图片描述

  • 详细流程图
    在这里插入图片描述

其他挑战

跨语言知识抽取

跨语言知识链接

思考

人工智能的两大学派：连接主义和符号主义。
在这里插入图片描述

  • 连接主义学派受到神经科学的启发，认为"智能"是无数"非智能"的神经细胞互相作用的结果，人与机器之间其实没有本质的差别。如果我们能模拟神经细胞的行为，进而构造组织一张人工的"神经网络"，那么理论上就能模拟出人的大脑，创造所谓的"智能"。
  • 符号主义认为认为人的智能可以用数理逻辑表达。数理逻辑在20世纪30年代开始被用于描述智能行为，模拟人类智能活动。计算机出现后，该理论又被应用到计算机上，实现了逻辑演绎系统，从而又发展出后来的专家系统和知识工程理论等。
    那么为什么不把符号主义和连接主义相结合呢？即知识图谱+深度学习。相信未来的人工智能只有知识+学习才能走的更远。

参考

[1] 本文大部分内容来自知识图谱入门系列
[2] 精益知识图谱方法论
[3] 知乎问题：知识图谱怎样入门
[4] 知乎专栏：知识图谱概论（二）：概念具象化描述
[5] 刘峤,李杨,段宏,刘瑶,秦志光. 知识图谱构建技术综述[J]. 计算机研究与发展, 2016, 53(3): 582-600.
LiuQiao,LiYang,DuanHong,LiuYao,QinZhiguang. Knowledge Graph Construction Techniques. Journal of Computer Research and Development, 2016, 53(3): 582-600.

bobobe
关注
专栏目录
知识图谱与金融——基于知识图谱的风险监控与决策支持
AI天才研究院
07-27 1378
知识图谱(KG)是一种用来表示大量互相关联数据的多维网络结构，它通过三元组（subject-predicate-object）的方式来表述实体之间的关系。它经常被用在文本分析、数据挖掘、推荐系统等领域。而随着金融行业对海量信息数据的需求越来越高，知识图谱技术也越来越受到重视。实际上，知识图谱已经成为构建和处理金融知识的重要工具之一。本文将探讨知识图谱在金融中的应用。
微软开源项目GraphRAG——基于知识图谱的RAG简介
洛阳泰山的博客
07-11 2607
在大型语言模型（LLM）的前沿研究中，一个核心挑战与机遇并存的领域是扩展它们的能力，以解决超出其训练数据范畴的问题。这不仅要求模型在面对全新数据时仍能保持卓越表现，还意味着开辟了全新的数据分析可能性，如在各种数据集中识别主题和语义概念，同时保留上下文和实体关系。在此背景下，微软研究院自豪地推出了GraphRAG——一项旨在显著提升LLM能力的重大突破。传统的检索增强生成（RAG）方法通过基于用户查询搜索信息，并将结果作为AI生成答案的参考，已成为大多数LLM工具不可或缺的一部分。
知识图谱概述
qq_38296184的博客
01-05 4252
一、   知识图谱（Knowledge Graph，KG）与语义技术概述 KG，2012谷歌提出，作用是能辅助搜索（从网页搜索到语义搜索，从文本链接到数据链接），辅助问答，辅助决策，辅助AI（常识推理）； 人的记忆偏重关联； 知识表示方法：框架系统、产生式规则、描述逻辑； 知识库形成：手工众包、格式转化、元组抽取、实体融合、链接预测、推理预测、语义嵌入 二、   典型知识库系统简介 C
知识图谱入门——1：基本概念、为什么要用？核心步骤、常用工具与技术、应用场景
项目git同名HuYaochao，未入职
10-01 1012
知识图谱是一种用来表示事物及其关系的结构化方式，它通过节点（实体）和边（关系）将数据连接成网状结构，使得计算机可以更好地理解和处理复杂信息。想象一下，在一张地图上画出每个城市（实体）和它们之间的道路（关系），这就是知识图谱的基本理念。
知识图谱：知识图谱概述（一）
qq_50086023的博客
07-22 4598
知识图谱概述学习
通俗易懂解释知识图谱（Knowledge Graph）
sjyisdog的博客
02-19 5113
1. 前言 从一开始的Google搜索，到现在的聊天机器人、大数据风控、证券投资、智能医疗、自适应教育、推荐系统，无一不跟知识图谱相关。它在技术领域的热度也在逐年上升。 本文以通俗易懂的方式来讲解知识图谱相关的知识、尤其对从零开始搭建知识图谱过程当中需要经历的步骤以及每个阶段需要考虑的问题都给予了比较详细的解释。 知识图谱（ Knowledge Graph）的概念由谷歌2012年正式提出，旨在实现更智能的搜索引擎，并且于2013年以后开始在学术界和业界普及。目前，随着智能信息服务应用的不断发展，知识图谱.
知识图谱（Knowledge Graph）
学习日常分享
03-25 7757
由于互联网内容的大规模、异质多元、组织结构松散的特点，给人们有效获取信息和知识提出了挑战。 谷歌于2012年5月16日首先发布了知识图谱（Knowledge Graph）。 知识图谱是一种互联网环境下的知识表示方法。 知识图谱的目的是为了提高搜索引擎的能力，改善用户的搜索质量以及搜索体验。 Google、百度和搜狗等搜索引擎公司构建的知识图谱，分别称为知识图谱、知心和知立方。 知识图谱的定义 知识图谱（Knowledge Graph/Vault），又称科学知识图谱，用各种不同的图形等可视化技术描述知识资源及
浅析知识图谱（Knowledge Graph）
最新发布
ZKYX_AI的博客
10-24 373
从一开始的Google搜索，到现在的聊天机器人、大数据风控、证券投资、智能医疗、自适应教育、推荐系统，无一不跟知识图谱相关。它在技术领域的热度也在逐年上升。本文以通俗易懂的方式来讲解知识图谱相关的知识、尤其对从零开始搭建知识图谱过程当中需要经历的步骤以及每个阶段需要考虑的问题都给予了比较详细的解释。知识图谱（ Knowledge Graph）的概念由谷歌2012年正式提出，旨在实现更智能的搜索引擎，并且于2013年以后开始在学术界和业界普及。目前，随着智能信息服务应用的不断发展，知识图谱已被广泛应用于。
知识图谱与大语言模型的协同（RAG）——MindMap
qq_52053775的博客
05-02 604
大型语言模型（LLMs）在处理新信息、防止生成幻觉内容、以及增强决策过程透明度方面存在局限。存在的问题不灵活性（Inflexibility）：预训练的LLMs包含过时的知识，并且很难进行参数更新。幻觉（Hallucination）：LLMs在生成答案时常常会产生听起来合理但实际错误的幻觉，这在高风险领域尤为关键。缺乏透明度（Lack of Transparency）：由于LLMs的“黑盒”特性，其决策过程不易被理解和验证。解决方案。
《知识图谱——概念与技术》笔记：基础篇
Mochayz的博客
08-24 855
《知识图谱——概念与技术》 1~2 章笔记
知识图谱de构建与应用（一）：知识图谱概述
u013250861的博客
07-16 1066
近年来，得益于大数据的发展和云服务算力的大幅提升，使得基于全网信息、结构化客观世界的海量知识成为可能；此外，大规模结构化的知识建设，能够大幅提高互联网获取信息的效率。具体到特定行业，数字化行业知识有助于实现业务决策自动化，同时能够使得业务决策做到全局优化。正是在技术进步和工业应用的双轮驱动下，知识图谱在工业界如火如荼地建设中。当下，从整个产业来看，知识图谱大致分为通用知识图谱和行业知识图谱两大类。建设知识图谱、使用知识图谱是一个系统化的工程，涉及自然语言处理、语义网、逻辑推理等学术前沿科研课题。......
知识图谱（Knowledge Graph, KG）（王昊奋老师-课程学习笔记）
热门推荐
sinat_29485667的博客
07-22 2万+
知识图谱的概念 知识图谱得益于Web的发展（更多的是数据层面），有着来源于KR、NLP、Web、AI多个方面的基因。 知识图谱是2012年后的提法，基础还是语义网和本体论。 知识图谱由文本(Texts、Documents)的链接到对象(Objects)的链接。 知识图谱的作用：辅助搜索、辅助问答、辅助决策、提供常识推理 知识图谱的本质包含： 一、 知识的表示 ...
什么是知识图谱（Knowledge Graph）（上）
blueorris的专栏
07-16 8181
本文参考了Mayank Kejriwal的新著《Domain-Specific Knowledge Graph Construction》（2019年） 最近几年，knowledge graph（KG）作为AI（人工智能）的一个主要领域活跃起来。图（graph）经常出现在AI的最新论文当中。由于大数据时代的到来，我们很需要让计算机高效地“理解”并分析这些数据。 ...
知识图谱介绍
yyt的博客
06-29 1204
前言看到这个名词，首先抓到的是“图”，知识图谱的数据结构应该是图。当时我就好奇知识图谱是干什么的，于是这两天查阅了一些资料，总结凝炼写成博文，供以后翻阅。知识图谱是什么？知识图谱是一个图结构，是一个知识网络，知识图谱旨在描述真实世界中存在的各种实体或概念，图中节点代表实体，边表示”关系”(relation)或者”属性”(attribute)。每个属性-值对(attribute-value pair，
知识图谱---介绍
github_37002236的博客
11-07 1185
1.各种知识图谱项目 谷歌知识图谱，百度之心，搜狗“知立方”，微软人立方，的脸谱兴趣图谱... FreeBase，wordNet，DBpedia，wikedata，linkedgeodata ...... 地理信息数据：https：//blog.csdn.net/github_37002236/article/details/81908446 2.定义 知识图谱本质上是一种语义网路，由结...
knowledge graph课程
12-04
知识图谱课程是一门专注于教授知识图谱理论和实践的课程。在这门课程中，学生将学习如何构建、表示、存储和查询知识图谱，以及如何应用知识图谱在各个领域中解决问题。 在知识图谱课程中，学生将了解知识图谱的基本概念和原理，包括实体、关系和属性的表示方法，以及知识图谱的构建流程和技术。学生将学习如何从结构化和非结构化数据中提取信息，并将这些信息组织成知识图谱。他们还将学习如何使用知识图谱表示和推理知识，以及如何利用语义注释和链接数据来丰富知识图谱的内容。 在课程的实践部分，学生将有机会使用知名的知识图谱建模工具和技术，如Neo4j、Protégé等，来构建和管理自己的知识图谱。他们将学习如何选择适当的知识图谱编码和存储技术，以及如何进行知识图谱的查询和可视化。学生还将学习如何评估和优化知识图谱的性能和质量。 最后，知识图谱课程还将介绍知识图谱的应用领域，如智能搜索、问答系统、推荐系统等。学生将了解如何将知识图谱应用于实际问题，并思考如何解决与知识图谱相关的挑战和问题。 通过学习知识图谱课程，学生将获得深入了解知识图谱的理论和实践知识，为他们将来在知识图谱相关领域的研究和应用工作奠定坚实基础。此外，他们还将培养出分析和解决问题的能力，以及团队合作和沟通技巧，这些都是在知识图谱领域中取得成功所必需的技能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值