GNN学习笔记
文章平均质量分 69
flying_coder
graph representation learning、Anomaly Detection, Graph Prompt Learning, Graph Foundation Model
展开
-
如何引入先验知识——Embedding Symbolic Knowledge into Deep Networks——纯属个人思考,极有可能出错,自行取用
纯属个人思考,极有可能出错,自行取用一、Abstract:使用先验符号知识 -> 改善深度模型的效果如何使用先验符号知识:图表征网络——将命题公式转化到一个mainfold(空间)。得到了什么?具有语义可靠的表征(semantically-faithful embedding)——能够在学习的过程中,将命题公式的信息一并加入到模型中,使其获得一定根据规则判断的能力进一步的工作:阐明为什么这么做能够将知识编写与向量表示学习进行联系二、Introduction:目前的De.原创 2021-04-05 12:27:48 · 3401 阅读 · 1 评论 -
Pytroch+DGL+模型设置相关总结
1、DGL部分: 当使用DGLGraph数据结构对原始数据进行解析的时候(从一条一条的数据变成一张一张图),首先要考虑的是如何将通过DGL库处理后的图数据存储,这时候需要用到的函数是dgl.load_graphs( )和dgl.save_graphs( graph list,label dict ),存储的文件后缀是.bin。此时,我们就将原始数据转换为了图数据,并得到后处理后的图数据集。此时要注意的是,使用pytorch进行训练,数据的读取需要使用到Dataloader类,Dataloade...原创 2021-03-05 15:01:45 · 1010 阅读 · 5 评论 -
Deep Graph Library消息传递机制-Message Passing详解
首先是看一下dgl的官网:https://docs.dgl.ai/index.html里面的第二章https://docs.dgl.ai/guide/message.html#guide-message-passing,介绍了DGL数据结构的消息传递机制,这一机制便于我们去设计图神经网络,以及模型参数的传播。里面的三个核心的方法分别是message function、reduce function和update function,直接看官网给出来的式子不难理解,论文中的消息传递指的就是如何更原创 2021-02-19 14:04:43 · 782 阅读 · 0 评论 -
关于python numpy.quantile()方法的理解以及分位数的理解
近期在编写python代码的时候遇到了python的numpy包中的quantitle()方法,产生了困惑,没有明白其得到的是什么,查阅之后发现,其实意思是分为数的意思,里面的参数q如果传入的是一个值就是求一个分位数,如果是一个list就是分别求不同的分位数,那么?如何通俗地理解分位数?直观来看,分位数就是用概率作为依据将一批数据分开的那个点。注意选取的是值而不是索引,这在python数据操作中着重注意一下一、数据分位数是数据分析中常用的一个统计量,经过抽样得到一个样本值,以考核分数为例:原创 2021-02-02 17:49:11 · 24913 阅读 · 4 评论 -
关于图神经网络的相关学习资源的分享——网站 博客(一)
图神经网络论文作者讲座——详细介绍——好的网站名称:ML Explained - Aggregate Intellect - AI.SCIENCE主站:https://ai.science/streams/graph-neural-nets?graph-neural-nets-tabs=videosYouTube页面:https://www.youtube.com/watch?v=W1GvX2ZcUmYGNN大佬Michael Bronstein教授博客:https://medium.com/@mi原创 2021-01-25 11:37:24 · 340 阅读 · 0 评论 -
Random walk 和 random walk with Restart理解
以下是我在阅读论文过程中总结的内容,因为是ppt格式,就直接截图了仅为个人理解,如有不对多包涵谢谢各位!原创 2020-09-16 14:28:39 · 1602 阅读 · 0 评论 -
关于唐杰老师18年KDD-DeepInf-社会影响力论文初次理解《DeepInf: Social Influence Prediction with Deep Learning》
纯属个人记录,有错误的话,勿喷~《DeepInf: Social Influence Prediction with Deep Learning》唐杰老师的这篇论文目前阅读了2遍,代码看了一遍,最初阅读有了一个对模型的初步认知,模型数据来源主要是图结构以及图中每个节点的actionstate,通过这两个输入得到最终的下一个timestamp的actionstate。其中用到的技术是先通过randomwalk,游走过程中允许回到初始节点,为每个节点游走出若干次定长序列,然后通过embeddin...原创 2020-09-12 16:11:32 · 569 阅读 · 1 评论 -
关于embedding的理解,2020-7-30
Embedding是什么?字面上的意思是“表征”,那么实际上它蕴含了什么呢?从CNN开始回顾,CNN最开始处理的是图片信息。图片本身是由像素点构成的,每一个像素点,每个像素点代表了一种颜色,如果是灰度图,每个像素点是一个值;如果是rgb图,每一个点是一个三元向量(分别代表三原色);那么一张图的所有像素点构成的像素矩阵,我们就看为这张图的特征,是一种直观的表现,然后对图片的像素矩阵进行卷积,再通过激活函数输出,输出的是图像的类别,比如是猫、是狗、或是其他的什么物体。对于图片这类数据,原始特征和类别是显原创 2020-07-30 19:06:15 · 596 阅读 · 1 评论 -
Hierarchical Softmax、CBOW词带模型抽象化及其公式推理以及python代码实现包括注释
接下来是我的详细的推倒过程原创 2020-07-27 19:12:00 · 625 阅读 · 0 评论 -
图卷积网络-《深入浅出图神经网络》读书笔记
由于是word格式,在这里我就直接放截图了,都是自己的思考,谢谢大家!参考文献:《深入浅出图神经网络》原创 2020-06-30 16:41:09 · 915 阅读 · 1 评论 -
CNN卷积神经网络之卷积运算的初步理解
上述的卷积方式是带有反转的卷积,而不带反转的卷积操作称为互相关卷积,在进行卷积的过程中需要指明属于哪一种卷积。对于5.6式子中,如果i,j分别取1,很明显会出现x取到-1位置的情况,我个人理解是可能这个时候的卷积就属于无效卷积了,因为此时以x1,1为中心,前面和上面都是不存在的,只有当i,j同时取3的时候,也就是卷积的中心在第二行第二列的0的时候才开始具有意义。因此来说5.6式应该还需要加上i,j都必须要≥3才可以,也就是一个为了将二维卷积写成数学式的一种妥协。因为懒得打字了,所以索性直接将...原创 2020-06-23 17:47:18 · 357 阅读 · 0 评论 -
忘了 忘了,以前学的矩阵知识全交给老师了,敲黑板了,矩阵乘法实例讲解
在这个地方整蒙了,W1和W2这俩是矩阵的标记,但是后面只有个Tr-1和Cr-1,我????实际上,1x Tr-1这种表示,即可以是向量也可以是矩阵呀,没有问题,往下理解是向量,往上理解就是矩阵,其次,W1与做运算是将W1当作Tr-1× 1的矩阵进行运算,而W3和运算是将其当成1×Cr-1进行运算,我们可以看到W1和W3是都是用的R^(?)的形式表示的矩阵,但是运算时候却不一样,敲黑板了!这就是我整蒙圈的地方,你想R^(?)是个欧几里得空间,1×Cr-1和Cr-1× 1都是R^C...原创 2020-05-22 21:23:03 · 641 阅读 · 0 评论 -
交通流量预测数据集解读
智慧交通系统即Intelligent TransportationSystem (ITS)属于时空预测方向,在人工智能相关会议上有不少工作值得借鉴。中科院计算所9楼网数的徐冰冰在github上有建微信群讨论,下周约在计算所给课题组做报告。群中Davidham(宋超,北交)也撰写了不少论文笔记,最近还发现了CSDN上张博士的 “当交通遇上机器学习”,也很不错。原始数据集总结一、TaxiBJ,北京出租车数据集,郑宇,"BJ15_M32x32_T30_InOut.h5",原始数据s...转载 2020-05-20 16:42:40 · 30741 阅读 · 25 评论 -
图神经网络学习笔记(1)——图信号与图傅里叶变换
以上转载自https://blog.csdn.net/weixin_40718664/article/details/104439350转载 2020-05-20 15:46:57 · 594 阅读 · 0 评论 -
2020 AAAI-GMAN: A Graph Multi‐Attention Network for Traffic Prediction阅读笔记(翻译)
注明:本文仅是翻译了论文,主要目的方便日后温故原创 2020-05-19 11:21:56 · 3504 阅读 · 6 评论 -
TensorFlow中数据的feed与fetch
TensorFlow中数据的feed与fetch一:占位符(placeholder)与feed当我们构建一个模型的时候,有时候我们需要在运行时候输入一些初始数据,这个时候定义模型数据输入在tensorflow中就是用placeholder(占位符)来完成。它的定义如下:def placeholder(dtype, shape=None, name=None):其中dtype表示数据类型,shape表示维度,name表示名称。它支持单个数值与任意维度的数组输入。1. 单个数值占位符定义转载 2020-05-11 00:04:00 · 332 阅读 · 1 评论 -
GCN使用的数据集Cora、Citeseer、Pubmed、Tox21格式
文章目录 Cora、Citeseer、Pubmed 以Cora为例 数据格式示例 Tox21 数据集 本文分享一下图卷积网络GCN里用到的一些数据集的格式Cora、Citeseer、Pubmed├── gcn│ ├── data //图数据│ │ ├── ind.citeseer.allx│ │ ├── ind.citeseer.ally│ │ ├── ind.cite转载 2020-05-10 16:21:27 · 4515 阅读 · 3 评论 -
训练过程中的train,val,test的区别
train是训练集,val是训练过程中的测试集,是为了让你在边训练边看到训练的结果,及时判断学习状态。test就是训练模型结束后,用于评价模型结果的测试集。只有train就可以训练,val不是必须的,比例也可以设置很小。test对于model训练也不是必须的,但是一般都要预留一些用来检测,通常推荐比例是8:1:1val是validation的简称。training dataset和validation dataset都是在训练的时候起作用。而因为validation的数据集和training没有.转载 2020-05-10 16:12:31 · 2651 阅读 · 0 评论 -
一文看懂Python列表表达式及高阶函数如lambda, zip, enumerate, map和filter方法
深入了解和熟练使用python的列表表达式和内置的一些高阶函数如lamda, zip, enumerate, map, filter, reduce, sorted方法是python学习,面试和工作的必备技能。正是它们给了python优秀的特性,从而使python有别于其它编程语言。网上的介绍和教程有很多,但感觉还是比较零散,解读也不够深入,小编决定再次动手写篇总结。如果大家还没读过小编写的一文看懂python系列文章,请先阅读一文看懂Python面向对象编程(Python学习与新手入门必看)-绝对原创和一转载 2020-05-09 23:37:17 · 402 阅读 · 0 评论 -
python之三元表达式、列表生成式、字典表达式、生成器表达式
1.三元表达式 格式为:条件成立时的返回值 if 条件 else 条件不成立时的返回值 总结:多行判断,一行代码解决。就是一条if判断的简写代码语法2.列表生成式 方括号【】 快速生成一个列表,也是一条简写代码语法 格式: l=[item**2 for item in range(1,11)] print (l)...转载 2020-05-09 23:34:53 · 768 阅读 · 0 评论 -
如何理解sparse.csr_matrix
CSR方法采取按行压缩的办法, 将原始的矩阵用三个数组进行表示和大家分享下我怎样理解的from scipy import sparsedata = np.array([1, 2, 3, 4, 5, 6]) #所有的非零数值indices = np.array([0, 2, 2, 0, 1, 2]) #所有值得列索引indptr = np.array([0, 2, 3, 6]) #每行的的非零数据 data[i:i+1]mtx = spars转载 2020-05-09 17:38:46 · 724 阅读 · 0 评论 -
Python中数组,列表:冒号的灵活用法介绍(np数组,列表倒序)
让我们来看一个例子:import numpy as npx=np.array([[1,2,3],[5,6,7],[7,8,9]])print(x)Out[64]:array([[1, 2, 3], [5, 6, 7], [7, 8, 9]])以上的结果我想大家应该没问题把,就是定义了一个np数组,关键在下面print(x[:,::-1])Out[65]:[[3 2 1] [7 6 5] [9 8 7]]以上的代码实现了一种功能,就是将数组倒序排列了,每个维度上转载 2020-05-09 17:26:38 · 811 阅读 · 0 评论 -
Cora数据集介绍+python读取
Cora数据集介绍+读取1. 数据集概括 2. 数据集组成 2.1 Content文件 2.2 Cites文件 3. 下载地址 4. 如何读取(python)1. 数据集概括Cora数据集由机器学习论文组成,是近年来图深度学习很喜欢使用的数据集。在数据集中,论文分为以下七类之一:基于案例遗传算法神经网络概率方法强化学习规则学习理论论文的选择方式是,在最终语料库中,每篇论文引用或被至少一篇其他论文引用。整个语料库中有2708篇论文。在词干堵塞和去除词尾后,只剩转载 2020-05-09 17:08:13 · 2580 阅读 · 0 评论 -
论文总结Graph Neural Networks-A review of methods and Applications
最近读了一篇GNN方面的综述,做了如下总结,如有错误请指教非常感谢!原创 2020-04-20 22:15:56 · 369 阅读 · 0 评论 -
谱图理论-拉普拉斯矩阵理解
谱图理论(spectral graph theory)我们希望把婴儿分割出来,于是我们假设像素之间形成一个图,像素之间的相似性是边的权重,然后我们计算相似性最后我们发现,第二个特征向量恰好就是对应着这个切分区域我们可以总结一下laplace矩阵的性质:...转载 2020-04-20 15:22:03 · 3504 阅读 · 1 评论 -
【图论】拉普拉斯矩阵(Laplacian matrix)
拉普拉斯矩阵是图论中用到的一种重要矩阵,给定一个有n个顶点的图 G=(V,E),其拉普拉斯矩阵被定义为 L = D-A,D其中为图的度矩阵,A为图的邻接矩阵。例如,给定一个简单的图:把此“图”转换为邻接矩阵的形式,记为A:把W的每一列元素加起来得到N个数,然后把它们放在对角线上(其它地方都是零),组成一个N×N的对角矩阵,记为度矩阵D,如下图所示。其实度矩阵(对角线元素)表示的就是...转载 2020-04-14 17:11:14 · 2580 阅读 · 0 评论 -
统计学系方法4.1补充理解
《统计学习方法》-朴素贝叶斯-后验概率最大化含义;含推导过程和个人见解一、损失函数期望公式:二、三、条件期望最小化推导理解以上图引用自https://blog.csdn.net/REA_UTOPIA/article/details/78881415个人理解,ck是真实值,y是输出值,y可以看做是神经网络或者是假定出的概率密度函数在X=x下的经过f(X)决策函数的输出...原创 2019-11-29 11:14:47 · 213 阅读 · 0 评论 -
CBOW理解 整合双语信息
Vector space model is well known in information retrieval where each document is represented as a vector. The vector components represent weights or importance of each word in the document. The simila...原创 2019-09-23 19:48:06 · 259 阅读 · 0 评论 -
机器学习精讲中7.1固定特征核中关于N维向量多项式特征映射的理解(一)
如果样本量多,逻辑回归问题很复杂,而原始特征只有x1,x2可以用多项式创建更多的特征x1、x2、x1x2、x1^2、x2^2、... X1^nX2^n。因为更多的特征进行逻辑回归时,得到的分割线可以是任意高阶函数的形状。feature mapping(特征映射)polynomial expansionfor i in 0..powerfor p in 0..i:output x1^...转载 2019-09-17 22:04:56 · 841 阅读 · 0 评论 -
机器学习精讲(向量逼近+函数逼近)学习笔记——第五章
这一章一开始阅读对P是什么把握的不好,下面是具体的讲解本书的部分章节内容可以参考:https://github.com/jermwatt/machine_learning_refined机器学习精讲(基础、算法及应用)——Jeremy Watt 杰瑞米·瓦特;Reza Borhani 雷萨·博哈尼 ;Aggelos K. Katsaggelos 阿格洛斯·K·卡萨格罗斯 杨博(译者)——...原创 2019-09-16 21:11:38 · 1171 阅读 · 0 评论 -
sitck-breaking折棍法理解
转载 2019-09-15 13:37:57 · 638 阅读 · 0 评论 -
代价函数详解(合页代价与softmax代价)
转载 2019-09-10 11:40:54 · 207 阅读 · 1 评论 -
机器学习——关于感知机概念的理解(可能只对本人适用)
各位不介意可以看看:对于机器学习精讲中:max(0,-yp(b+xpTw))=0 ,这一个分类公式,一开始进入了一个误区,以为这个公式算出来的都是正确分类的,显然不是,一旦出现在超平面>0的一侧但是其y是<0的,那么自然的来看max(0,-yp(b+xpTw))这个公式算出的值是大于0的,就出现了分类错误的情况。此时就顺势往下进行引导得到感知机的代价函数.......原创 2019-09-09 20:53:41 · 182 阅读 · 0 评论 -
机器学习笔记——感知机理解(自行取用,并不一定适合每个人)
比较渣渣,一开始不是很理解为什么设置wx+b=0其实是这样子的 如果对于输入的x只有一个特征,那么超平面其实就是一个点,在这个点的两侧进行分类如果上升到w1x1+w2x2+b=0,比如2x1+x2+1=0 就存在(1,-3),(0,-1),(-0.5,0)...等等的一系列点符合这个方程,所以对于具有两个特征的输入来说,这是的方程所确定的就是一系列点的集合,根据这个集合来进行分类,这是...原创 2019-09-09 19:53:00 · 222 阅读 · 1 评论 -
赋范线性空间
参考:https://baike.baidu.com/item/%E8%B5%8B%E8%8C%83%E7%A9%BA%E9%97%B4/2285667?fr=aladdinhttp://blog.csdn.net/mr_hai_cn/article/details/53207307#replyhttp://blog.csdn.net/soudog/article/details/20506...转载 2019-09-06 12:01:16 · 5721 阅读 · 2 评论