CAS-KG——知识体系构建与知识融合

最新推荐文章于 2024-05-27 20:50:54 发布
最新推荐文章于 2024-05-27 20:50:54 发布
阅读量313 收藏 2
点赞数
分类专栏： 知识图谱与语义计算 文章标签： 自然语言处理 知识图谱
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38293297/article/details/106043816
版权

说明：CAS是国科大的简称，KG是知识图谱的缩写，这个栏目之下是我整理的国科大学习到的知识图谱的相关笔记。

课程目标

  • 了解以知识图谱为代表的大数据知识工程的基本问题和方法
  • 掌握基于知识图谱的语义计算关键技术
  • 具备建立小型知识图谱并据此进行数据分析应用的能力

教学安排
详情请见博客：CAS-KG——课程安排

文章目录

1. 知识体系构建

什么是知识体系

知识体系：对于知识数据的描述和定义，是描述知识数据的“元数据”
在这里插入图片描述

知识体系主要包含三方面内容

  • 词汇、类别、概念的定义和描述
    • 词汇（Term）、概念（Concept）
  • 概念之间的相互关系（Relation）
    • 分类关系（Taxonomic Relation）
    Subclass: Is_A、Part_of
    • 非分类关系（Non-Taxonomic Relation） Property/Attribute
  • 公理（Axioms）
    在这里插入图片描述

知识体系 vs. 知识库

在这里插入图片描述
在这里插入图片描述

常用的知识组织形式
 Ontology（本体）
 Taxonomy（分类体系）
 Folksonomy/Metadata （开放标签）

  • Ontology（本体）
    在这里插入图片描述
    在这里插入图片描述
    本体的特点
    在这里插入图片描述
    Ontology 例子
    在这里插入图片描述
    在这里插入图片描述
    Ontology 应用
    管理知识（定义、存储、分类）
    减少歧义
    推理
    Ontology 问题
    在这里插入图片描述
  • Taxonomy（分类体系）
    Taxonomic Relation ：领域相关
    在这里插入图片描述
  • Folksonomy/Metadata （开放标签）
    • 取消Taxonomic Relation
    • 概念类别冗余
      ➢ 可以存在多个表征同一概念的类别语义标签
      ➢ 类别标签由用户提供
      在这里插入图片描述
      不同知识组织形式的比较
      在这里插入图片描述

如何手工构建知识体系

知识体系构建的目标
在这里插入图片描述

人工构建方法
在这里插入图片描述

基于人工构建的知识体系难并且不全面，所以如何自动构建成为亟需解决的问题。

如何自动构建知识体系

自动构建方法
在这里插入图片描述

基于半结构化数据的知识体系挖掘

通过网络挖掘获取概念、关系
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

例子：面向百科文本的知识体系挖掘

在这里插入图片描述

结构化和非结构化数据
在这里插入图片描述

半结构化数据
在这里插入图片描述

半结构文本中的属性名、属性值抽取

目标：从百科普通条目半结构化网页中自从学习模板，抽取实体属性及相关的属性值
在这里插入图片描述
基本步骤
 半结构化信息块的识别/定位
 抽取模板的学习
 属性名、属性值抽取

  • 半结构化信息块定位
    在这里插入图片描述
    在这里插入图片描述
    结构化信息抽取
    在这里插入图片描述
    属性名与类别的对齐
    在这里插入图片描述
    在这里插入图片描述
    根据类别标签回标
    在这里插入图片描述
  • 模板学习
    在这里插入图片描述
    模板置信度估计
    在这里插入图片描述
    Random walking with Restart
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

基于Bootstrapping的抽取过程

在这里插入图片描述

思考：提升半结构化信息快识别的召回率
在这里插入图片描述

思考：改进框架

在这里插入图片描述

基于非结构化数据（纯文本）的知识体系构建

在这里插入图片描述

概念抽取：术语（Terminology）抽取

在这里插入图片描述

实体扩展（第6课）
在这里插入图片描述

术语发现（Terminology Extraction）
在这里插入图片描述

术语排序
在这里插入图片描述
Ranking：C-value/NC-value
在这里插入图片描述
在这里插入图片描述
Ranking：TF，TF-IDF
在这里插入图片描述
Domain Relevance
在这里插入图片描述
Domain Consensus (Information Entropy)
在这里插入图片描述
Ranking：Topic Model
在这里插入图片描述
利用主题分布计算词之间的相似度
在这里插入图片描述
Ranking：TextRank
在这里插入图片描述

同义词挖掘

在这里插入图片描述
层次聚类（Hierarchical clustering）
在这里插入图片描述

关系挖掘

基于模板学习的上下位关系抽取
在这里插入图片描述
在这里插入图片描述

模板质量的评估
在这里插入图片描述

基于词表示学习的上下位关系抽取
在这里插入图片描述
在这里插入图片描述
思考：基于词表示学习的上下位关系抽取
在这里插入图片描述

属性抽取（No-taxonomic Relation)
在这里插入图片描述
思考：非监督No-taxonomic Relation抽取
在这里插入图片描述

2. 知识融合

什么是知识融合

单一知识图谱难以覆盖各个领域，需要整合不同领域、不同语言、不同结构、不同模态的知识资源。但是不同来源知识体系具有差异性，那么如何融合呢？

知识图谱融合
在这里插入图片描述
例子
在这里插入图片描述

任务分解：本体匹配
在这里插入图片描述
任务分解：实例对齐
在这里插入图片描述
核心问题
在这里插入图片描述

知识融合基本方法

方法分类
在这里插入图片描述

基于文本相似度的映射方法

基于字符串匹配的映射方法

汉明距离（Hamming Distance）：存在字符串𝑥,𝑡, 则它们之间的距离𝛿 (𝑥,𝑡) 定义为：
在这里插入图片描述
Substring Similarity：存在字符串𝑥, 𝑦, 𝑡是𝑥和𝑦的最长公共子串，则它们之间的相似度σ( 𝑥,𝑡) 定义为
在这里插入图片描述

N-gram Similarity： 𝑛𝑔𝑟𝑎𝑚( 𝑥, 𝑛) 为字符串𝑥 中长度为𝑛 的子串集合，则对于字符串𝑥,𝑡， 它们之间的相似度σ( 𝑥,𝑡) 定义为
在这里插入图片描述

编辑距离（ Levenshtein Distance）：将一个字符串转成另一个字符串的最少编辑操作数（插入、删除、替换）
在这里插入图片描述
将Lvensshtain 转换成Levenshtein，总共操作 3 次，编辑距离是3。这是典型的动态规划问题，可通过动态规划算法计算。给定两个字符串𝐴,𝐵，𝑖,𝑗分别为字符串𝐴, 𝐵的下标，则它们之间的编辑距离为𝛿𝐴,𝐵(|𝐴|, |𝐵|)，不失一般性， 𝛿𝐴,𝐵(𝑖,𝑗)可以计算为：
在这里插入图片描述

基于语言处理的映射方法

在这里插入图片描述

基于语义匹配的映射方法

在这里插入图片描述
利用外部资源：WordNet，Hownet
在这里插入图片描述

基于结构相似度的映射方法

基于内部结构的映射方法

在这里插入图片描述

基于层级结构的相似度计算方法

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
思考：基于树编辑距离
在这里插入图片描述

基于外部结构的映射方法

在这里插入图片描述

基于网络表示学习的映射方法

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

小结

  • 本节课内容
    ➢知识体系：Ontology
    ➢知识体系构建方法
    ➢知识融合方法
  • 挑战
    ➢NLP技术面临巨大的挑战（语义表示）
    ➢Large Scale
    ➢Efficiency
    ➢背景知识
    ➢多系统融合
    ➢Crowdsourcing
晴晴_Amanda
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
cas-server-4.0.0-release与依赖包.zip
08-09
CAS（Central Authentication Service）是基于Java的开源身份验证框架，用于实现单一登录（Single Sign-On, SSO）。...正确理解和部署CAS服务器及其依赖包，是构建安全、高效的身份验证系统的基础。
【知识图谱】知识融合
盛夏光年
09-02 1万+
文章目录一、知识融合1、基本概念2、数据层的知识融合（1）不同KG的知识融合（2）不同知识库的知识融合（3）不同来源数据的知识融合（4）知识在线融合3、Schema层的知识融合4、技术及其挑战5、相关比赛——OAEI二、知识融合的基本技术流程1、基本技术流程2、数据预处理3、记录链接（1）属性相似度① 编辑距离② 基于集合相似度③ 基于向量的相似度（2）实体相似度① 基于聚合的方法② 基于聚类的方...
知识图谱之知识融合
摆渡者
08-27 3万+
最近在“小象学院”上知识图谱的课程，做了一些笔记，现整理了一下 1、什么是知识融合 将来自不同知识库的同一实体融合在一起 目标：融合各层面的知识 合并两个知识图谱（本体），需要确认的是： （1）等价实例               实体的匹配  左右两个人是同一个人          samsAs     猫王 （2）等价类/子类                         摇滚歌...
知识图谱入门 (六) 知识融合
热门推荐
pelhans的博客
04-24 4万+
欢迎大家关注我的博客 http://pelhans.com/ ，所有文章都会第一时间发布在那里哦~ 本节主要介绍知识融合相关技术，首先介绍了什么是知识融合，其次对知识融合技术的流程做一个介绍并对知识融合常用工具做一个简单介绍。 知识融合简介 知识融合，即合并两个知识图谱(本体)，基本的问题都是研究怎样将来自多个来源的关于同一个实体或概念的描述信息融合起来。需要确认的是： ...
机器智能中的知识融合：从数据到知识的融合
光剑书架上的书
01-03 1153
1.背景介绍 知识融合(Knowledge Fusion, KF)是一种将多种知识来源或表示方式相互融合、整合、共享和传播的方法和技术。在人工智能(AI)领域，知识融合具有重要的意义，因为它可以帮助机器学习系统更好地理解和解决复杂的问题。知识融合的主要目标是将来自不同来源的知识进行融合，从而提高机器学习系统的准确性、可解释性和鲁棒性。 在本文中，我们将讨论知识融合在机器智能中的应用，以及如何将...
知识融合工程
liangwqi的博客
09-06 5342
目录 知识融合简介 目标: 融合各层面的知识 合并两个知识图谱（本体） 来源于不同知识库的同一实体 实体对齐是知识融合主要工作 中文百科中等价实例 概念层知识融合 跨语言知识融合 知识在线融合 ​ 各种相关名词术语 知识融合 (Knowledge Fusion) 本体对齐 (Ontology Alignment) 本体匹配 (Ontology Matching) ...
cas-overlay-template-6.4 服务端代码
01-28
1.CAS-集成mysql 2.CAS-日志审计 3.CAS-连接池配置 4.CAS-自定义错误信息 5.CAS-识别json文件 6.CAS-页面缓存记住我 7.CAS-cookie设置 8.CAS-tgc设置 9.CAS-登出 10.CAS-redisCluster集群存储ticket（相应redis必须...
cas-server-webapp-tomcat-5.3.14
06-04
cas服务器war包,用于搭建cas认证服务器，由于国内网的原因,下载老是超时,故此提供给,cas-server-webapp-tomcat-5.3.14
cas-client-core-3.5.1.jar
04-11
CAS Client 3.5.1客户端，用于单点登录客户端拦截，编译环境JDK1.8，可用于JDK1.8及以上Java版本。
cas-server-webapp-tomcat-5.3.16.war
12-19
cas-server-webapp-tomcat-5.3.16.war maven依赖包
浅谈知识融合
iflyBird@zhang的博客
05-18 7809
知识和融合 一、介绍知识融合主要从下面俩点着手 什么叫知识融合（看完这幅图可能就明白） [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-INDK0SNk-1589775956173)(https://ftp.bmp.ovh/imgs/2020/05/35404f4702eba06c.jpg)] 简单点来说：知识融合就是在不同的数据集中找出同一个实体的描述记录 知识融合的目的：他是对不同数据源中的信息进行整合，形成更加全变得实体信息 实体链接 实体链接（entity link
知识融合概述
最新发布
weixin_43961909的博客
05-27 967
在总结众多知识融合概念的基础上认为知识融合是知识组织与信息融合的交叉学科，它面向需求和创新，通过对众多分散、异构资源上知识的获取、匹配、集成、挖掘等处理，获取隐含的或有价值的新知识，同时优化知识的结构和内涵，提供知识服务。从流程角度对知识融合概念进行分解，如下图所示。实体链接问题是数据层知识融合研究的主要任务，其核心是构建多类型多模态上下文及知识的统一表示，并建模不同信息、不同证据之间的相互交互，主要的实体链接方法有：基于实体知识的链接方法、基于篇章主题的链接方法和融合实体知识与篇章主题的实体链接方法。
知识图谱入门——知识融合
du_ok's Notes
01-04 8861
文章首发于博客du_ok’s Notes，本文链接为知识图谱入门——知识融合 本文介绍了知识融合相关的技术和典型的知识融合工具。 知识融合相关概念 相关的术语： 知识融合 (Knowledge Fusion) 本体对齐 (Ontology Alignment) 本体匹配 (Ontology Matching) Record Linkage (传统数据库领域) Entity Resolut...
第4章：知识融合：概述、方法
null18的博客
12-10 1791
知识融合(Knowledge Fusion)的概念最早出现1983年发表的文献中,并在20世纪90年代得到研究者的广泛关注。在维基百科中“知识融合”的定义是,“对来自多源的不同概念、上下文和不同表达等信息进行融合的过程除此之外,有一些专家提出知识融合的目标是产生新的知识,是对松耦合来源中的知识进行集成,构成一个合成的资源,用来补充不完全的知识和获取新知识。还有一些专家认为,知识融合是知识组织与信息融合的交叉学科,它面向需求和创新,
知识融合
qq_34357872的博客
04-17 3192
研究背景 知识数量的提升，使得各个垂直领域都形成了专业领域的知识图谱，或者同一领域也存在多个重叠的知识图谱。 不同机构，个人可以自由构建所需知识图图谱，各个知识图谱的数据来源非常广泛，存在质量参差不齐，跨领域问题。 知识融合是指将这些知识库联合起来实现知识的互补，扩大知识库规模，满足用户跨领域的信息需求 定义 通过对多个相关知识库的对齐、关联、合并，使其成为一个有机整体，是一种提供更全面知识...
知识图谱：知识融合（将来自不同知识库的同一实体融合在一起）【知识融合有不同的叫法，如：知识对齐、本体对齐、本体匹配、Record Linkage、Entity Resolution、实体对齐】
u013250861的博客
03-13 7179
一、简介 通过知识抽取， 我们已经得到了海量的实体、 关系， 但是由于来源的不同， 会存在很多噪声数据， 重复的数据， 因此我们还需要对其进行清理和整合， 这个过程称为知识融合。 知识融合，即合并两个知识图谱(本体)，基本的问题都是研究怎样将来自多个来源的关于同一个实体或概念的描述信息融合起来。需要确认的是： 等价实例 等价类/子类 等价属性/子属性 一个例子如上图所示，图中不同颜色的圆圈代表不同的知识图谱来源，其中在dbpedia.org中的Rome 和geoname.org的roma是同一实体，通
KG-构建：知识图谱基础代码构建（医疗向）
u013250861的博客
12-22 771
项目来源是GitHub上面刘老师做的一个基于知识医疗图谱的问答机器人，本文主要关注点放在建立知识图谱这一侧。这个项目并且将数据集也开源了放在dict和data文件夹下，让我觉得真的很难得，得给老师一个star！
知识图谱de构建与应用（三）：知识融合
u013250861的博客
07-16 1379
对于很多需要构建知识图谱的领域，由于从业者甚多，自然而然地会沉淀出数量众多的数据库或知识库，比如在影视子领域，百度百科、维基百科、豆瓣等都是很好的知识库，因而在构建知识图谱的过程中往往会对多个知识库的知识进行合并，以期获得最全面的知识，这个过程就称为知识融合。此外，由于被合并的各个知识库里的知识难免会存在错误，因而知识融合会对多个知识库的知识进行交叉验证，知识融合之后获得的知识相比融合前的单知识库会更准确。由于自然语言的开放性，各个领域的知识融合任务往往面临以下四个难点。（1）异构问题。..........
领域知识+大模型融合方法总结
miracletiger的专栏
02-06 2304
为了提升生产效率和获得市场竞争力，用户不仅仅是在使用像ChatGPT这样的对话平台或者像GitHub Copilot这样的编程辅助工具，他们还将大型语言模型（LLM）融入到自己的专有应用程序和工作流程中，这通常需要结合特定领域的数据。虽然RAG不需要广泛的数据科学专业知识，但数据团队必须设计和实施可靠的数据管道，以验证、查找并将正确的内容插入LLM提示中。然而，外部知识的整合增加了计算复杂性、延迟和提示复杂性，可能导致更长的推理时间、更高的资源利用率和更长的开发周期。2-微调现有的LLM。
cas-server-5.2.4下载
10-13
cas-server-5.2.4是一个开源的单点登录服务器。在官方网站或者源代码仓库中，我们可以找到cas-server-5.2.4的下载链接。只需点击该链接，就能开始下载cas-server-5.2.4压缩文件。 cas-server-5.2.4是基于Java语言...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值