- 博客(67)
- 收藏
- 关注
RSS订阅
原创 百度7天GNN学习-环境搭建
win10环境搭建#添加源pip config set global.index-url https://mirrors.aliyun.com/pypi/simple#创建环境+安装库conda create -n pgl python=3.6conda activate pglpip install pgl#下载代码f:cd F:\codegit clone https://github.com/PaddlePaddle/PGL.git【发现有了代码】【运行】
2021-01-06 14:37:36
570
原创 服务器环境配置
目录1、Anaconda安装配置2 虚拟环境配置搭建pyg环境离线安装dgl环境在线安装1、Anaconda安装配置去官网找自己想下载的安装包mkdir software #存放安装包cd softwarewget https://repo.anaconda.com/archive/Anaconda3-2020.11-Linux-x86_64.shbash Anaconda3-2020.11-Linux-x86_64.sh#安装过程中一路yes和enter即可
2021-01-06 13:24:34
347
原创 win10下官方dgl之gcn代码成功运行
环境搭建本地（创建虚拟环境的时候最好不要指定自以为的Python版本，要安装代码说明的，要不然出错了也不知道哪里出了问题）#安装Anahttps://zhuanlan.zhihu.com/p/75717350 安装参考（尤其里面添加镜像，下载贼快）https://www.cnblogs.com/tianlang25/p/12433025.html （镜像注意）https://blog.csdn.net/weixin_40431584/article/details/103914584 出现问题
2021-01-05 16:02:28
873
2
原创 win10下使用pycharm实现基于pyg的cora+citeseer+pubmed数据集的JKNET模型测试
目录前期准备工作1、数据集基本情况2、标准数据集划分方式3、数据集处理和分析整体数据分析coraciteseerpubmed4、代码参考GraphSAGE实验结果（代码详细注释）1、代码结构2、超参数3、实验结果(pubmed+mean_pool+sum)2层SageGCN层实验补充3层SageGCN层4、问题分析GraphSAGE原文使用的citation数据集GraphSage没有使用cora等着三个数据集的简单分析关于数据
2021-01-31 19:51:59
982
原创 pytho报错 OMP: Error #15: Initializing libiomp5md.dll, but found libiomp5md.dll already initialized.
遇到这个问题一脸懵，查找后完美解决import os # 一定要有这个设定，要不然报错，也生成不了图os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"参考
2021-01-29 21:01:58
1716
1
原创 GCC（glibc本质libstdc）惨痛的代价
目录1问题2解决1）兼容3.4.222）恢复3 参考1问题目前还不清楚是不是因为我自己在conda环境下pip安装了一些包，导致环境出的问题还是什么，目前就是出现各种缺少报错ImportError: /lib64/libstdc++.so.6: version `GLIBCXX_xxx‘ not found（目前紫荆发现了不同版本的三个了）。万万没想到吧，一个环境下的gcc库解决了，别的虚拟环境崩溃了，报错ImportError: dlopen: cannot load an
2021-01-29 11:50:49
256
原创 Linux安装编译mwget报错strcmp’ was not declared in this scope
1、问题在执行make时报错make all-recursivemake[1]: Entering directory '/home/lj/software/mwget_0.1.0.orig'Making all in mach-infomake[2]: Entering directory '/home/lj/software/mwget_0.1.0.orig/mach-info'make[2]: Nothing to be done for 'all'.make[2]: Leav
2021-01-28 15:59:18
936
原创 CentOS安装axel来解决wget下载速度慢问题
1 axel安装（tar包）sudo yum install -y axel【失败】cd softwarewget 'http://www.ha97.com/code/axel-2.4.tar.gz'tar -xf axel-2.4.tar.gzcd axel-2.4yum -y install gcc./configuremake && make install##########################如果提示make命令sudo y
2021-01-28 13:47:48
896
原创 PyG-框架初认识
1、简介本文根据一篇关于pyg框架简单介绍的论文研究开始，论文发表在19年的ICLR会议上，论文链接2、框架3、参考FAST GRAPH REPRESENTATION LEARNING WITH PYTORCH GEOMETRIC代码实现pyg手册学习参考数据集下载...
2021-01-27 17:13:06
784
原创 【GNN-GRL书总结】Graph Representation Learning
书介绍各章节总结1）简介2）传统图学习方法3）浅层节点NE4）浅层多关系图NE5）深层GNN表示6）GNN实践trick7）GNN理论动机8）传统图生成方法（边概率问题）...
2021-01-27 11:56:57
256
1
原创 PYG-入门学习参考
pyg安装https://blog.csdn.net/StarfishCu/article/details/108796228pyg教程https://blog.csdn.net/starfishcu/category_10370062.htmlpyg入门https://zhuanlan.zhihu.com/p/91229616https://blog.csdn.net/dreamhome_s/article/details/106170716https://zhuanlan.zhihu.co
2021-01-20 14:40:50
734
1
原创 百度7天GNN学习-作业答案
目录作业1运行GCN运行deepwalk并用于链接预测作业21. DeepWalk采样算法2. SkipGram模型训练3. Node2Vec采样算法作业31. GCN模型2. GAT模型完成Single-Head GAT的消息传递机制作业41. 代码框架梳理2. GraphSage采样函数实现3. GraphSage聚合函数实现3.1 Mean Aggregator示例代码3.2 MaxPool Aggregator实现论文节点比赛
2021-01-20 12:01:19
271
原创 PGL2.0版本运行相关问题
1、问题AssertionError: In PaddlePaddle 2.x, we turn on dynamic graph mode by default, and 'data()' is only supported in static graph mode. So if you want to use this api, please call 'paddle.enable_static()' before this api to enter static graph mode.
2021-01-20 10:50:13
2079
3
原创 softmax+log_softmax理解与使用（为什么可以常用在分类交叉损失熵）
转载1）softmaxsoftmax是一种指数归一化函数。输入为向量，输出为值为0-1之间的向量，和为1。在分类任务中作为概率出现在交叉熵损失函数中。import numpy as npdata=np.array([0.1, 0.3, 0.6, 2.1 ,0.55])np.exp(data)/np.sum(np.exp(data)) # softmaxarray([0.07795756, 0.09521758, 0.12853029, 0.57603278,
2021-01-19 11:14:11
898
转载 百度PGL-动态图模式(命令式编程)
转载目录命令式编程使用教程为什么命令式编程模式越来越流行？1. 开启命令式编程模式2. 使用命令式编程进行模型训练2.1 定义数据读取器2.2 定义模型和优化器2.3 训练2.4 评估测试2.5 模型参数的保存和加载3. 多卡训练4. 模型部署5. 使用技巧5.1 中间变量值、梯度打印5.2 断点调试5.3 使用声明式编程模式运行5.4 阻断反向传递命令式编程使用教程从编程范式上说，飞桨兼容支持声明式编程和命令式编程，通俗地讲即静态
2021-01-18 10:53:10
1797
原创 百度PGL-word2vec
转载目录词向量说明背景介绍效果展示模型概览语言模型N-gram neural modelContinuous Bag-of-Words model(CBOW)Skip-gram model数据准备数据介绍数据预处理编程实现模型应用预测下一个词总结参考文献词向量本教程源代码目录在book/word2vec,初次使用请您参考Book文档使用说明。说明 本教程可支持在 CPU/GPU 环境下运行 Docker镜
2021-01-18 10:23:34
339
原创 百度7天GNN学习-进阶学习
目录大纲进阶GNN1. 自己动手实现图神经网络2. One More Thing新冠项目实战（待续）大纲进阶GNN1. 自己动手实现图神经网络这里以想自己实现一个CustomGCN为例子首先，我们在model.py 创建一个类CustomGCNimport paddle.fluid.layers as Lclass CustomGCN(object): """实现自己的CustomGCN""" def __init__(self, con
2021-01-17 22:14:14
153
原创 百度7天GNN学习-课件5学习（带文本信息的图+Masked标签传播）
目录大纲第五课动机ERNIESage（带有本文信息的图）ERNIESage Node（提取特征，GraphSage聚合）ERNIESage Edge（提取特征，GraphSage聚合）ERNIESage 1-Neighbor（对一阶邻居提取特征、拼接并聚合）ERNIESage落地UniMP（标签迁移）效果(OGB打榜神器)动机举例Masked Label Prediction模型结构效果大纲第五课动机【节点与边存在.
2021-01-17 22:09:42
187
原创 百度7天GNN学习-课件4学习（图采样：GraphSage）
目录大纲第四课（GraphSage）总结图采样由来GNN和CNN的batch训练区别图采样定义（子图采样）图采样技术-GraphSage（采样+泛化）采样过程（内-外）聚合过程（外-内）优点【泛化+计算量小】QA图采样技术-PinSage（快速多阶信息）计算（假设模型只有1层）优点邻居聚合技术（采样之后的操作）聚合函数3种聚合方式能力评估sum聚合优点（单射）GIN（图分类：sum+自连边带权）NLP语义场景邻居聚合（Tex
2021-01-17 22:07:17
197
原创 百度7天GNN学习-课件3学习（MPNN：GCN+GAT）
目录大纲第三课总结GNN兴起（发展）GNN目的GNN训练方式GNN与CNN区别问题问题1-如何从图像卷积到图结构卷积公式简化以及物理意义（消息接收+聚合）问题2-怎用消息传递方式实现GCN度矩阵的引入？问题3-怎么用多层图网络完成节点分类任务GCN（度计算）框架核心PGL代码实现GAT（注意力）框架由来边值函数PGL实现多头注意力MPNN通用框架通用公式流程QA大纲第三课总结.
2021-01-17 22:05:28
365
原创 百度7天GNN学习-课件2学习（游走算法）
目录大纲第二课总结图表示由来负采样由来Word2VecDeepWalk（随机游走DFS）node2vec（有偏游走DFS+BFS+考虑边权值）metapath2vec异构图由来异构图定义基于远路径游走元路径游走metapath2vec++（考虑节点类型来负采样）变种大纲第二课总结图表示由来词的语义由其上下文决定负采样由来计算量大，需要计算所有词表内的词概率-softmax；选一些正样本（想预测的.
2021-01-17 22:03:02
252
1
原创 百度7天GNN学习-课件1(图基础知识)
目录大纲第一课图学习应用图学习分类算法PGL框架易用性高效性大规模丰富性落地业务自研项目Lesson1课程学习内容图概念补充图分类图的度和邻居（重点有向图）图表示（重点邻接表）图特征大纲第一课图学习应用图学习分类算法PGL框架易用性高效性大规模丰富性落地业务自研项目Lesson1课程学习内容图概念补充特征有：节点特征，边特征，结构特征
2021-01-17 22:00:29
197
转载 GNN教程：GAT算法（考虑邻居重要性）
转载目录大纲图注意力机制的类型1. 学习注意力权重（使用a）2. 基于相似性的注意力（直接cos计算）3. 注意力引导的游走法（RNN）后话参考大纲本文为GNN教程的第四篇文章 【GAT网络】，在前几篇博文中，我们讨论了基本的图神经网络算法GCN, 使用采样和聚合构建的inductive learning框架GraphSAGE, 然而图结构数据常常含有噪声，意味着节点与节点之间的边有时不是那么可靠，邻居的相对重要性也有差异，解决这个问题的方式是在图算法中引入“注意力”
2021-01-16 20:50:06
4823
转载 GNN教程：Weisfeiler-Leman算法-GNN能力到底有多强呢？（GCN的逐层传播公式理解）
转载目录一、大纲二、Weisfeiler-Leman 算法介绍2.1 动机2.2 Weisfeiler-Leman 算法思路2.3 Weisfeiler-Leman 算法图形举例说明三、Weisfeiler-Leman 算法与 GCN 间的转换四、后话参考一、大纲本文为GNN教程的第六篇文章 【Weisfeiler Leman算法】。前面的文章中，我们介绍了GNN的三个基本模型GCN、GraphSAGE、GAT，分析了经典的GCN逐层传播公式是如何由谱图卷积推导而
2021-01-16 20:19:14
937
转载 GNN教程：采样模型GraphSage代码实战(工业上图模型的雏形:采样-计算分离)
转载目录大纲GCN中暴露的问题DGLNodeFlowNeighbor Sampling具体实现Control Variate后话Reference大纲本文为GNN教程的系列干货。之前介绍了DGL这个框架，以及如何使用DGL编写一个GCN模型，用在学术数据集上，这样的模型是workable的。然而，现实生活中会遇到非常庞大的图数据，庞大到邻接矩阵和特征矩阵不能同时塞进内存中，这时如何解决这样的问题呢？DGL采用了和GraphSAGE类似的邻居采样策略，通过构
2021-01-16 19:39:36
976
2
转载 GNN教程：采样模型GraphSage理解(工业上图模型的雏形)
转载目录动机大纲一、Inductive learning v.s. Transductive learning二、概述三、算法细节3.1 节点 Embedding 生成(即：前向传播)算法3.2 采样 (SAmple) 算法3.3 聚合器 (Aggregator) 架构3.4 参数学习四、后话Reference动机本文为GNN教程的第三篇文章 【GraghSAGE算法】，在GCN的博文中我们重点讨论了图神经网络的逐层传播公式是如何推导的，然而，GCN的
2021-01-16 18:42:26
1839
转载 GNN教程：开山之作GCN代码理解（DGL框架）
转载目录大纲DGL 核心 — 消息传递用消息传递的方式实现GCNGCN 的线性代数表达从消息传递的角度分析具体实现step 1，引入相关包step 2，需要定义 GCN 的 message 函数和 reduce 函数step 3，定义一个应用于节点的 node UDF(user defined function)step 4，定义 GCN 的Embedding更新层step 5，定义了一个包含两个 GCN 层的图神经网络分类器step 6，加载 cora
2021-01-15 14:39:37
3017
1
转载 GNN教程：开山之作GCN理解(自身和邻居节点Embedding聚合再进行非线性变换最后更新）
转载目录大纲1. 问题定义2. 图上的快速卷积近似谱图卷积逐层线性模型3. 半监督学习节点分类传播公式解释后话参考文献本文为GNN教程的第二篇文章 【GCN介绍】，取自Kipf et al. 2017，文章中提出的模型叫Graph Convolutional Network(GCN)，个人认为可以看作是图神经网络的“开山之作”，因为GCN利用了近似的技巧推导出了一个简单而高效的模型，使得图像处理中的卷积操作能够简单得被用到图结构数据处理中来，后面各种图神经网络层出
2021-01-15 14:16:45
3826
原创 GNN教程：GNN 涉及到的基础知识
转载系列规划本文为GNN教程 【第一章 基础：三剑客】的第一篇文章 【01 基础知识】，下图展示了我们在这一系列的规划，接下来我们将会介绍图神经网络的三个基本模型，使大家对他们有所了解。基础知识图卷积神经网络(Graph Convolutional Network)作为最近几年兴起的一种基于图结构的广义神经网络结构，因为其独特的计算能力，而受到广泛学者的关注与研究。传统深度学习模型 LSTM 和 CNN 在欧几里得空间数据(语言，图像，视频等)上取得了不错的成绩，但是在对非欧几里得空间数
2021-01-15 13:55:25
2139
原创 百度7天GNN学习-课件学习
第一课图学习应用图学习分类算法PGL框架易用性高效性大规模丰富性落地业务自研项目Lesson1课程学习内容图概念补充特征有：节点特征，边特征，结构特征图分类图的度和邻居（重点有向图）边数根据方向；后继者是出度指向的点；邻接矩阵的表示也是根据方向为1/0；边集表示也是根据方向图表示（重点邻接表）邻接表：针对稀疏大图使用图特征第二课总结图表示由来词的语义
2021-01-14 19:29:57
256
原创 【NetWorkX】Graph基础操作
转载更全面的NetworkX中文使用手册，请收藏：NetworkX中文使用手册在NetworkX库中，我们总是先生成一个Graph对象，然后对其进行操作，下面通过两个简单的实例来看看我们能用NetworkX干什么。目录1. 读写Graph数据2. lollipop网络特性探索3. NetWorkX图、边、节点等相关方法1. 读写Graph数据import sysimport matplotlib.pyplot as pltimport networkx .
2021-01-14 13:12:19
1994
原创 PGL优秀心得参考
重点参考，参考2tips图基础0-图属性信息①图具有以下基本的属性： 1. 节点--vertex （也译：顶点） （平时描述可以用时node：节点，但代码中和公式中常出现v作为标识） 2. 边--edge②此外，还包括节点与边各自的特征向量--即各自的特征信息： 1. 节点特征向量——node_feature 【通常由节点具有的特征构成，并且多个节点对应的特征向量组成当前网络的节点特征矩阵——shape:(node_num, per_node_feature
2021-01-13 16:52:41
324
1
原创 百度7天GNN学习-异构图实战
目录1、分析2、代码3、输出1、分析什么是异构图？简单来说就是：存在许多包含多种类型的节点和边的图！ 如下：（电子商务网络——就至少包含两种类型的节点（用户和项目）和两种类型的边线（购买和单击））（来源pgl1.2.1官网）【源于pgl1.2.1文档，主要是对代码的学习，注解！】2、代码'''步骤1）创建图结构的基本节点、边的信息2）设置节点特征与边特征3）构建异构图与异构容器（容器多了边类型）4）构建消息机制5）测试消息机制--并通过两个..
2021-01-13 16:44:44
1727
1
原创 百度7天GNN学习-实战3核心代码理解（GraphSage采样）
1分析GraphSage采样函数实现GraphSage的作者提出了采样算法来使得模型能够以Mini-batch的方式进行训练，算法伪代码见论文附录A。假设我们要利用中心节点的k阶邻居信息，则在聚合的时候，需要从第k阶邻居传递信息到k-1阶邻居，并依次传递到中心节点。 采样的过程刚好与此相反，在构造第t轮训练的Mini-batch时，我们从中心节点出发，在前序节点集合中采样NtN_tNt个邻居节点加入采样集合。 接着将邻居节点作为新的中心节点继续进行第t-1轮训练的节点采样，以此类推。 最
2021-01-13 15:05:15
423
原创 百度7天GNN学习-实战2理解（MPNN中send和recv白话理解）
核心代码！！！基于消息传递的模型有GCN 算法、GAT 算法、里面的核心就是Message Passing 消息传递机制。'''GCN参数补充解释 给出一个简化版本的 GCN 模型，帮助大家理解PGL框架实现消息传递的流程。'''##############################1################################''''''import paddle.fluid.layers as Ldef gcn_layer(gw, fe
2021-01-13 14:08:02
325
1
原创 百度7天GNN学习-实战2（生成单条 DeepWalk 游走序列）
1分析内容概览Deepwalk 采样从今天的课堂上,我们知道, 对于给定的节点，DeepWalk会等概率的选取下一个相邻节点加入路径，直至达到最大路径长度，或者没有下一个节点可选。2代码'''生成单条 DeepWalk 游走序列步骤1）构建graph（没有添加节点特征） 节点数 边list是元组形式2）nx绘制图 添加节点、边、位置、画图、可视化3）Deepwalk 采样4）5）6）'''import numpy as npim
2021-01-13 13:51:52
237
原创 百度7天GNN学习-实战1（基于空手道俱乐部的两层GCN节点分类问题）
1基础图学习初印象Part1 什么是图图的两个基本元素：点、边 图是一种统一描述复杂事物的语言 常见的图：社交网络、推荐系统、化学分子结构...Part2 什么是图学习图学习: Graph Learning。深度学习中的一个子领域，强调处理的数据对象为图。 与一般深度学习的区别：能够方便地处理不规则数据（树、图），同时也可以处理规则数据（如图像）。Part3 图学习的应用我们可以把图学习的应用分为节点级别任务、边级别任务、图级别任务。 课程中介绍了以下几种任务。节点级别任务
2021-01-13 13:18:14
1032
3
原创 Graph2Vec运行
源码1环境搭建环境要求The codebase is implemented in Python 3.5.2 | Anaconda 4.2.0 (64-bit). Package versions used for development are just below.jsonschema 2.6.0tqdm 4.28.1numpy 1.15.4pandas 0.23.4texttable
2021-01-13 11:53:01
1467
原创 pip安装使用阿里云镜像
由于使用官网下载安装一些包极其缓慢，有时候清华镜像也不稳定，于是尝试在暗转给的时候指定阿里云镜像（没有去配置镜像）问题解决pip install torch==1.4.0 -i https://mirrors.aliyun.com/pypi/simple/...
2021-01-13 09:16:09
13999
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人