2021年05月_CHEONG_KG

原创【机器学习系列】HMM第四讲：从状态空间模型再回看HMM模型

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱阅读本文之前，首先注意以下两点：1、机器学习系列文章常含有大量公式推导证明，为了更好理解，文章在最开始会给出本文的重要结论，方便最快速度理解本文核心。需要进一步了解推导细节可继续往后看。2、文中含有大量公式，若读者需要获取含公式原稿Word文档，可关注公众号后回复：HMM第四讲，本文针对一般的状态空间模型，介绍常探究的两大任务Learning问题和Inference问题。对于一般的状态空间模型State...

2021-05-26 14:28:51 900

原创【机器学习系列】隐马尔科夫模型第三讲：EM算法求解HMM参数

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱阅读本文之前，首先注意以下两点：1、机器学习系列文章常含有大量公式推导证明，为了更好理解，文章在最开始会给出本文的重要结论，方便最快速度理解本文核心。需要进一步了解推导细节可继续往后看。2、文中含有大量公式，若读者需要获取含公式原稿Word文档，可关注公众号后回复：HMM第三讲，本文详细推导使用EM算法求解隐马尔科夫模型Learning问题。隐马尔科夫模型Learning问题：属于参数估计问题，即如何求解..

2021-05-26 14:21:10 1237

原创【机器学习系列】隐马尔科夫模型第二讲：前向算法、后向算法

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱阅读本文之前，首先注意以下两点：1、机器学习系列文章常含有大量公式推导证明，为了更好理解，文章在最开始会给出本文的重要结论，方便最快速度理解本文核心。需要进一步了解推导细节可继续往后看。2、文中含有大量公式，若读者需要获取含公式原稿Word文档，可关注公众号后回复：HMM第二讲，本文主要讲解使用前向算法和后向算法求解隐马尔科夫模型的Evaluation问题。一、核心结论1.HMM Evaluation..

2021-05-26 14:13:28 1431

原创【机器学习系列】隐马尔科夫模型第一讲：通俗易懂概述HMM

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱阅读本文之前，首先注意以下两点：1、机器学习系列文章常含有大量公式推导证明，为了更好理解，文章在最开始会给出本文的重要结论，方便最快速度理解本文核心。需要进一步了解推导细节可继续往后看。2、文中含有大量公式，若读者需要获取含公式原稿Word文档，可关注公众号后回复：HMM第一讲，本文主要从隐马尔科夫模型背景、定义、两大假设和三个问题来理解HMM。一、初识HMM先从整体角度认识一下隐马尔科夫模型HMM，..

2021-05-26 13:59:13 607

原创【机器学习系列】EM算法第三讲：由Jensen Inequality推导EM算法

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱阅读本文之前，首先注意以下两点：1、机器学习系列文章常含有大量公式推导证明，为了更好理解，文章在最开始会给出本文的重要结论，方便最快速度理解本文核心。需要进一步了解推导细节可继续往后看。2、文中含有大量公式，若读者需要获取含公式原稿Word文档，可关注公众号后回复：EM算法第三讲，本文主要介绍如何通过Jensen Inequality推导出EM算法的优化公式。一、EM算法解决的问题通俗些说，EM算法就..

2021-05-23 10:23:31 414

原创【机器学习系列】EM算法第二讲：由条件概率公式推导EM算法

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱阅读本文之前，首先注意以下两点：1、机器学习系列文章常含有大量公式推导证明，为了更好理解，文章在最开始会给出本文的重要结论，方便最快速度理解本文核心。需要进一步了解推导细节可继续往后看。2、文中含有大量公式，若读者需要获取含公式原稿Word文档，可关注公众号后回复：EM算法第二讲，本文主要介绍如何通过条件概率公式推导出EM算法的优化公式。一、EM算法解决的问题通俗些说，EM算法就是求含有隐变量zzz的..

2021-05-23 10:17:17 549

原创【机器学习系列】EM算法第一讲：EM算法相关概述及收敛性证明

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱阅读本文之前，首先注意以下两点：1、机器学习系列文章常含有大量公式推导证明，为了更好理解，文章在最开始会给出本文的重要结论，方便最快速度理解本文核心。需要进一步了解推导细节可继续往后看。2、文中含有大量公式，若读者需要获取含公式原稿Word文档，可关注公众号后回复：EM算法第一讲，本文主要从以下四个方面介绍EM算法:EM算法解决的问题EM算法E-Step和M-StepEM算法收敛性证明EM算法延展思考..

2021-05-23 10:10:59 2450

原创【自然语言处理系列】自编码器AE、变分自编码器VAE和条件变分自编码器CVAE

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱本文主要分享自编码器、变分自编码器和条件变分自编码器的相关知识以及在实际实践中的应用技巧，原创不易转载请注明出处，原稿获取请关注公众号【AI机器学习与知识图谱】回复：自编码器，下面首先简单认识一下：自编码器、变分自编码器和条件变分自编码器之间的关系。1．自编码器：自编码器结构：Encoder将输入数据进行压缩，Decoder将其转化回输入的近似值，自编码器可以对输入进行重构，但是无法充当生成模型，变分自编码器可..

2021-05-22 14:59:48 4840

原创【自然语言处理系列】预训练模型原理和实践综述 | 附汇报PPT原稿和18篇论文

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱本文主要分享自然语言处理中有关预训练模型原理和实践的学习资料，18篇原论文原稿获取请关注公众号后回复：预训练论文，ppt原稿获取请回复：Embedding，其中包括：一篇预训练模型原理综述一篇预训练模型代码实践综述一篇Fasttext的原理和实践综述一篇预训练相关的PPT汇报一、预训练模型原理具体见：干货 | NLP中的十个预训练模型二、预训练模型实践具体见：Word2vec, Fa..

2021-05-22 14:46:34 665 3

原创【自然语言处理系列】14篇NER命名实体识别学术论文多角度超全对比 | 详见汇报PPT

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱这篇汇报从F1-Score、Wordunit、Word Emb、Charunit、Crf、Note、Efficiency、Gazetters和LM多个视角对比了14篇NER论文，14篇原论文获取请关注公众号后回复：NER综述。详细内容请见PPT内容。一、总结二、Paper PPT三、往期精彩【知识图谱系列】Over-Smoothing 2020综述【知识图谱..

2021-05-22 10:03:33 691 1

原创【GNN框架系列】DGL第二讲：使用Deep Graph Library实现GNN进行链接预测

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱本文先简单概述GNN链接预测任务，接下来使用Deep Graph Library实现GNN进行链接预测，并对代码进行详细介绍，若需获取模型的完整代码，可关注公众号后回复：DGL第二讲完整代码一、GNN链接预测概述GNN链接预测任务，即预测图中两个节点之间的边是否存在。在Social Recommendation，Knowledge Graph Completion等应用中都需要进行链接预测。模型实现上是将..

2021-05-22 09:56:21 2516 3

原创【GNN框架系列】DGL第一讲：使用Deep Graph Library实现GNN进行节点分类

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱本文先简单概述GNN节点分类任务，然后详细介绍如何使用Deep Graph Library + Pytorch实现一个简单的两层GNN模型在Cora引文数据上实现节点分类任务。若需获取模型的完整代码，可关注公众号后回复：DGL第一讲完整代码一、GNN节点分类概述节点分类是图/图谱数据上常被采用的一个学习任务，既是用模型预测图中每个节点的类别。在GNN模型被提出之前，常用的模型如DeepWalk，Node2..

2021-05-22 09:50:25 2265 2

原创【知识图谱系列】六篇2020年知识图谱预训练论文综述 | 30页汇报ppt免费获取 | GCC，GraphCL，DGI，InfoGraph等模型

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱本文介绍六篇有关知识图谱预训练的优秀论文，大致上可分为两类，生成学习模型和对比学习模型。其中GPT-GNN模型是生成学习模型，模型灵感来源于自然语言处理中的GPT模型；GCC，GraphCL，DGI，InfoGraph和Multi-View这五篇属于对比学习模型。30页完整汇报ppt获取请关注公众号回复关键字：知识图谱预训练一、背景知识图谱预训练作用：图神经网络(GNNs)已被证明是建模图结构数据的强大..

2021-05-22 09:41:38 458

原创【知识图谱系列】清华大学基于对比学习的图谱预训练模型GCC

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱本文介绍一篇基于对比学习的图谱预训练模型GCC（KDD 2020），介绍GCC模型核心点和模型思路，完整汇报ppt获取请关注公众号回复关键字：GCC一、背景知识图谱预训练作用：图神经网络(GNNs)已被证明是建模图结构数据的强大工具。然而，训练GNN模型通常需要大量的特定任务的标记数据，而获取这些数据往往非常昂贵。利用自监督GNN模型对未标记图谱数据进行预训练是减少标记工作的一种有效方法，然后将预训练学习..

2021-05-22 09:29:09 1721

原创【知识图谱系列】基于Randomly Perturb的图谱预训练模型GraphCL

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱本文介绍基于Randomly Perturb互信息最大化的图谱预训练模型GraphCL（NIPS 2020），介绍模型核心点和模型思路，完整汇报ppt获取请关注公众号回复关键字：GraphCL一、背景知识图谱预训练作用：图神经网络(GNNs)已被证明是建模图结构数据的强大工具。然而，训练GNN模型通常需要大量的特定任务的标记数据，而获取这些数据往往非常昂贵。利用自监督GNN模型对未标记图谱数据进行预训练是..

2021-05-22 09:24:02 826

原创【知识图谱系列】基于互信息最大化的图谱预训练模型DGI & InfoGraph

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱本文介绍两篇基于互信息最大化的图谱预训练模型DGI（ICLR 2019）和InfoGraph（ICLR 2020），介绍模型核心点和模型思路，完整汇报ppt获取请关注公众号回复关键字：DGI & InfoGraph一、背景知识图谱预训练作用：图神经网络(GNNs)已被证明是建模图结构数据的强大工具。然而，训练GNN模型通常需要大量的特定任务的标记数据，而获取这些数据往往非常昂贵。利用自监督GNN模..

2021-05-22 09:19:56 1965 1

原创【知识图谱系列】基于生成式的知识图谱预训练模型GPT-GNN

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱本文介绍一篇基于生成式的图谱预训练模型GPT-GNN（KDD 2020），介绍GPT-GNN模型核心点和模型思路，完整汇报ppt获取请关注公众号回复关键字：GPT-GNN一、BackgroundBackground1、GPT/GPT2.0： GPT和GPT2.0是自然语言处理领域的生成式训练模型，预训练阶段通过大量预料进行无监督学习，预训练任务是单项语言模型，特征提取器用的是Transformer，预训练..

2021-05-22 08:48:45 1947

原创【知识图谱系列】基于2D卷积的知识图谱嵌入

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱本文给大家推荐两篇知识图谱表示学习相关的论文，这两篇论文都是将传统图像中的2D卷积操作直接用到知识图谱模型中，并且取得了不错的效果。完整汇报ppt获取请关注公众号回复关键字：2D卷积知识图谱嵌入一、BackgroundKnowledge 1：二维卷积常用在计算机视觉、图像处理领域，用于处理图片数据；而一维卷积常用于序列模型，多适用于自然语言处理领域。知识图谱是非结构化数据，即不具有文本序列清晰的上下文，..

2021-05-21 15:50:50 585

原创【知识图谱系列】基于实数或复数空间的知识图谱嵌入

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱本文分享分享3篇有关知识图谱表示学习的优秀论文，简单介绍其核心思想，完整汇报ppt获取请关注公众号回复关键字：知识图谱嵌入一、Background本文给大家推荐三篇知识图谱表示学习相关的论文，这几篇论文都是针对三元组进行距离计算，对关系进行不同的定义。TransE模型在实数空间将关系看作从head node到tail node翻译操作，RotatE模型在复数空间将关系看作从head node到tail n..

2021-05-21 15:43:34 552

原创【知识图谱系列】动态知识图谱表示学习综述 | 十篇优秀论文导读

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱本文分享一篇动态知识图谱表示学习综述汇报ppt，分享10篇优秀论文，简单介绍其核心思想，完整汇报ppt获取请关注公众号回复关键字：动态知识图谱一、何为动态图谱首先知识图谱本质上就是一个语义网络，由节点Node和边Edge构成，每个Node表示现实世界中存在的实体Entity，而每条边表示实体与实体之间的关系。简单来说，知识图谱就是把所有不同种类的信息连接在一起而得到的关系网络，比如社交网络。由于这种关..

2021-05-21 15:29:34 6012 1

原创【知识图谱系列】基于Random Propagation的深度图神经网络

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱本文介绍一篇基于Random Propagation的深度图神经网络模型Grand（NIPS 2020），介绍Grand模型核心点和模型思路，完整汇报ppt获取请关注公众号回复关键字：Grand一、BackgroundKnowledge1、Over-fitting：在CNN卷积神经网络中，若CNN网络结构过于复杂过于Deep，且数据量有限的情况下，便会出现Over-fitting问题，Over-fitti..

2021-05-21 15:16:11 496

原创【知识图谱系列】解耦Transformation和Propagation的深度图神经网络

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱本文介绍一篇解耦合Transformation和Propagation操作的自适应深度图神经网络模型DAGNN（KDD 2020），介绍DAGNN模型核心点和模型思路，完整汇报ppt获取请关注公众号回复关键字：DAGNN一、Motivation1. Over-fitting：在CNN卷积神经网络中，若CNN网络结构过于复杂过于Deep，且数据量有限的情况下，便会出现Over-fitting问题，Over-..

2021-05-21 15:04:20 951

原创【知识图谱系列】自适应深度和广度图神经网络模型

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱本文介绍一篇自适应深度和广度图神经网络表征学习模型Geniepath，介绍Geniepath模型核心出发点和模型思路，完整汇报ppt获取请关注公众号回复关键字：Geniepath一、MotivationPoint1：在自然语言处理邻域中，一句话中词的上下文是很显然的，便可利用上下文对中心节点进行预测和表征。但在图数据中，节点node没有明确的上下文概念，因此在进行图表征学习时定义合适的上下文概念便至关重..

2021-05-21 14:50:51 1071

原创【知识图谱系列】知识图谱多跳推理之强化学习

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱本文分享一篇将强化学习应用在知识图谱多跳推理任务的汇报ppt，简要概述基本概念并推荐几篇近期的优秀论文，介绍其核心思想，完整汇报ppt获取请关注公众号回复关键字：知识图谱强化学习一、背景知识1、知识图谱：知识图谱是异质图Heterogeneous Graph，图中含有多种关系类型，一组事实（head entity, relation, tail entity）就代表图中的一个三元组；2、知识图谱推理：..

2021-05-21 14:39:52 4437

原创【知识图谱系列】知识图谱的神经符号逻辑推理

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱本文分享一篇有关知识图谱上的神经网络和符号逻辑推理汇报ppt，简要概述基本概念并推荐几篇近期的优秀论文，介绍其核心思想，完整汇报ppt获取请关注公众号回复关键字：知识图谱符号逻辑推理一、背景知识1、知识图谱：知识图谱是异质图Heterogeneous Graph，图中含有多种关系类型，一组事实（head entity, relation, tail entity）就代表图中的一个三元组；2、知识图谱推..

2021-05-21 14:32:52 1871

原创【知识图谱系列】多关系异质知识图谱表示学习综述

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱本文分享一篇多关系知识图谱表示学习汇报ppt，介绍近几年及2020新出的共七篇处理异质图的模型。先列出该汇报ppt中将要介绍的七篇论文：一、Motivation异质知识图谱研究的对象便是如何处理多关系知识图谱，多关系知识图谱中模型在做节点表征时便需要充分考虑到关系Relation，也就是边Edge对于实体表征的作用，因此异质知识图谱模型便会在做节点表征时加入Relation关系信息，那么如何合理充分结合n..

2021-05-21 14:16:59 969

原创【知识图谱系列】知识图谱表示学习综述 | 近30篇优秀论文串讲

作者：CHEONG公众号：AI机器学习与知识图谱研究方向：自然语言处理与知识图谱本文分享一篇知识图谱表示学习汇报ppt，将知识图谱表示学习方法粗略分为四大类，涉及将近30篇优秀论文，只简单介绍其核心思想，完整汇报ppt获取请关注公众号回复关键字：知识图谱表示学习1、翻译距离模型：包括TransH、TransR、TransD、TranSparse、TransM、MianfoldE、TransF、TransA、KG2E、TransG、UM、SE模型等；2、语义匹配模型：包括RESCAL、Di..

2021-05-21 14:04:28 1574

【AI机器学习与知识图谱】的博客