CS224W图机器学习
文章平均质量分 90
CS224W图机器学习笔记
huanghelouzi
研究兴趣:图神经网络和差分隐私。
公众号:图神经网络GNN
展开
-
[图神经网络前沿课题]位置感知、身份感知、鲁棒性
图神经网络课程和PPT主页GNN的局限性论文《How Powerful are Graph Neural Networks?》指出一个最具表达能力的GNN应该具备以下特征:换句话说,就是最具表达能力的GNN应该使得具有相同领域结构的节点拥有相同的节点嵌入,具有不同领域结构的节点一定拥有不同的节点嵌入。需要注意的是,这里都基于一个前提假设:节点没有可区分性的特征,也就是说节点可能没有特征、节点有相同的特征或者节点有高度相似的特征。现有大部分的GNN大都不能保证上述两点要求,故可以说明现有GNN表原创 2021-08-23 23:13:06 · 1110 阅读 · 8 评论 -
CS224W图机器学习笔记1-图机器学习基础知识
图机器学习基础知识课程和PPT主页图的基本概念图(Graphs)是一种用于描述和分析具有关系或相互作用的实体的通用语言。现实生活中存在很多种类型的图,例如:广义的图主要可以分为两种:网络,Networks(也称为自然图,Natural Graphs):社交网络(Social networks):社会是一个由70亿+个人组成的集合交流和交易网络(Communication and transactions)生物医学(Biomedicine)大脑连接网络(Brain connec原创 2021-06-19 20:46:08 · 1741 阅读 · 159 评论 -
CS224W图机器学习笔记2-图机器学习的传统方法
图机器学习的传统方法课程和PPT主页传统图机器学习流程传统图机器学习流程可分为以下四步:第一步是根据不同的下游任务为节点/链接/图的人工设计特征(hand-designed features)第二步是将我们设计特征构建为训练数据集第三步是使用训练数据集训练一个机器学习模型,常见的有随机森林,SVM和神经网络等第四步是使用训练好的的模型完成新样本的预测任务从上面的步骤中我们可以发现,在传统图机器学习中模型性能好坏很大程度上取决于人工设计的图数据特征(hand-designed featu原创 2021-07-24 22:13:56 · 1578 阅读 · 10 评论 -
CS224W图机器学习笔记3-节点嵌入
节点嵌入课程和PPT主页图表示学习图表示学习(Graph Representation Learning)使得图机器学习摆脱了传统图机器学习对特征工程的依赖。图表示学习的目标是为图机器学习高效地学习出独立于特定下游任务的特征表示(节点嵌入),这个过程很像降维。图表示学习的任务是将节点映射到嵌入空间,当然不可随意的映射,主要有以下的要求:在图中相似的节点在特征空间(嵌入空间)中的嵌入仍然相似,何为相似的节点?比如存在边相连的两个节点;节点嵌入应包含图结构信息、节点本身信息;这些嵌入可能被原创 2021-07-26 19:42:25 · 2245 阅读 · 18 评论 -
CS224W图机器学习笔记5-消息传递与节点分类
消息传递与节点分类课程和PPT主页本文主要解决的问题:给定一个只有部分已知标签节点的图,如何给图中其他节点分配正确的标签?本文主要讨论一个名为“message passing”的框架以及三个具体的方法:Relational classificationIterative classificationBelief propagation直觉上,相关性(Correlations)总是存在图中:边总是存在相似的节点之间核心概念是collective classification: 将标签同原创 2021-07-30 22:36:46 · 582 阅读 · 2 评论 -
CS224W图机器学习笔记6-图神经网络
图神经网络课程和PPT主页在介绍图神经网络之前,简单的介绍一下图(Graph)。在节点没有特征的情况下,常设置节点特征维全1向量,或者指示向量。下面给出一个十分Naive的使用图数据训练深度神经网络的方案:将邻接矩阵和节点特征进行拼接组成一个新的数据,然后将其用以训练神经网络(非图神经网络,如常见的MLP,CNN等),这种方法缺点主要有三个:难以训练;扩展性差;对节点顺序敏感。图卷积网络GCN一个更聪明的做法是:将CNN卷积神经网络扩展成图卷积神经网络GCN。该方案存在很多挑战,其中一个就原创 2021-08-01 11:18:59 · 585 阅读 · 0 评论 -
CS224W图机器学习笔记7-图神经网络设计模式
图神经网络课程和PPT主页图神经网络框架首先我们先关注于怎么设计和定义每一层GNN层,一般的GNN层都可抽象为两部分:Message+Aggregation,不同的GNN只有这两部分的实现不同。而在层间关系上,不同的GNN在GNN层堆叠方式可能也存在不同,比如可能会加入类似残差连接的思想。在图级上,后面还会介绍图结构增强,图特征增强的技术。在图神经网络学习目标上,可分为监督学习、半监督学习和无监督学习;或者可分为节点级、边级和整图级目标。GNN层级框架一般的GNN层都可抽象为两部分:原创 2021-08-04 23:05:05 · 1005 阅读 · 2 评论 -
CS224W图机器学习笔记8-图神经网络三大应用
图神经网络课程和PPT主页Prediction with GNNs目前我们只学习了从输入图->节点嵌入,也就是学习图神经网络怎么获取节点嵌入,并没有学习针对特定下游任务的一些内容(从节点嵌入到实际预测)。首先先学习Prediction head,Prediction head也就是模型的最终输出。Prediction head主要分为三大类,这个GNN三大下游任务是一一对应的。下面介绍Prediction head三大分类:Node-level prediction、Edge-lev原创 2021-08-07 17:13:06 · 1468 阅读 · 1 评论 -
CS224W图机器学习笔记9-How powerful are graph GNNs?
图神经网络课程和PPT主页今天主要学习论文《How powerful are graph GNNs?》,这篇论文的主要贡献是提出现有GNN的表达能力上限是WL图同构检测。How Expressive are Graph Neural Networks?现在已经提出GNN模型,例如GCN、GAT、GraphSAGE等,现在主要存在两个问题:下面学习现有GNN无法识别的图结构,用以分析现有GNN模型的缺陷。我们在图中使用不同的颜色代表不同的节点特征,我们考虑一种极端的情况,即节点特征都相同,这意味着原创 2021-08-12 11:19:22 · 458 阅读 · 1 评论 -
CS224W图机器学习笔记12-motif和子图
图神经网络课程和PPT主页Subgraphs and Motifs子图(Subgraphs)是图的一部分,可理解子图为积木(building blocks),由子图构建出整个图。在很多领域,很多重复出现的的子图决定了整图的功能。下面给出一个生物网络中的例子,若图中出现Carboxyl这个子图结构,那么整个蛋白质将会有酸味这个性质。有两种方式可以形式化的定义子图:Node-induced subgraph,Edge-induced subgraph(不常使用)。在不同的领域和不同的场景下使用不原创 2021-08-14 21:32:36 · 1887 阅读 · 0 评论 -
CS224W图机器学习笔记13-Community Detection
图神经网络课程和PPT主页大量的社会科学和心理学研究表明,现实世界中的图都呈现如下图所示的-Community内部的边相对密集、Community 之间的边比较稀疏-规律。以电话网络为例(使用线条粗细和大小对应的两个个体通话次数作为边、个体作为节点),验证了现实世界中的图确实存在上述规律。而我们将边的权重随机打乱之后得到一个同结构随机图,此时就没有上述的规律。言而简之,现实世界的图呈现出下图所示的结构。Network CommunitiesNetwork Communities还有其他原创 2021-08-18 16:49:46 · 332 阅读 · 0 评论 -
CS224W图机器学习笔记14-图生成模型
图神经网络课程和PPT主页我们现在大部分的工作都是建立一个条件之上-图神经网络的输入输入数据(图)是已知的。假设图是未知的,那么我们应该怎么生成图呢?答案是:使用图生成模型(graph generative model)生成任务所需要的图。不单是图未知的情况需要使用到图生成,还有以下几个原因:学习图生成可以分为以下三步:Properties of Real-world Graphs真实图(相对于随机图)主要有以下几个重要属性:度分布(Degree distribution) P(k原创 2021-08-20 21:08:54 · 1035 阅读 · 0 评论