丨汀、的博客

本人后续会持续整合ML、DRL、NLP等相关领域的体系化项目课程，方便入门同学快速掌握相关知识，后续会不断增添实战环节（比赛、论文、现实应用等）。这三块领域耦合情况比较大，后续会通过比如：搜索推荐系统整个项目进行耦合，各项算法都会耦合在其中。举例：知识图谱就会用到（图算法、NLP、ML相关算法），搜索推荐系统（除了该领域召回粗排精排重排混排等算法外，还有强化学习、知识图谱等耦合在其中），后续会持续实现。

本项目对PGL图学习系列项目进行整合方便大家后续学习，同时对图学习相关技术和业务落地侧进行归纳总结，以及对图网络开放数据集很多学者和机构发布了许多与图相关的任务。

（1）赛题介绍图神经网络（Graph Neural Network）是一种专门处理图结构数据的神经网络，目前被广泛应用于推荐系统、金融风控、生物计算中。图神经网络的经典问题主要有三种，包括节点分类、连接预测和图分类三种，本次比赛是主要让同学们熟悉如何图神经网络处理节点分类问题。在过去的一个世纪里，科学出版物的数量每12年增加近一倍，对每一种出版物的主题及领域进行自动分类已成为当下十分重要的工作。本次任务的目标是预测未知论文的主题类别，如软件工程，人工智能，语言计算和操作系统等。

本项目讲了论文节点分类任务和新冠疫苗任务，并在论文节点分类任务中对代码进行详细讲解。PGL八九系列的项目耦合性比较大，也花了挺久时间研究希望对大家有帮助。后续将做一次大的总结偏向业务侧该如何落地以及图算法的归纳，之后会进行不定期更新图相关的算法！

PGL2.2基于消息传递的思路构建整体框架。PGL最底层是飞浆核心paddle深度学习框架。在此之上，搭建了CPU图引擎和GPU上进行tensor化的图引擎，来方便对图进行如图切分、图存储、图采样、图游走的算法。再上一层，会对用户暴露一些编程接口，包括底层的消息传递接口和图网络实现接口，以及高层的同构图、异构图的编程接口。框架顶层会支持几大类图模型，包括传统图表示学习中的图游走模型、消息传递类模型、知识嵌入类模型等，去支撑下游的应用场景。

通过以上两个版本的模型代码简单的讲解，我们可以知道他们的不同点，其实主要就是在消息传递机制的部分有所不同。ERNIESageV1版本只作用在text graph的节点上，在传递消息(Send阶段)时只考虑了邻居本身的文本信息；而ERNIESageV2版本则作用在了边上，在Send阶段同时考虑了当前节点和其邻居节点的文本信息，达到更好的交互效果。ERNIE。

如何进一步推进图学习的研究呢？从历史上看，高质量和大规模的数据集在推进研究中发挥了重要的作用，例如计算机视觉领域的IMAGENET、MS COCO，自然语言处理领域的GLUE BENCHMARK、SQUAD，语言处理领域的LIBRISPEECH、CHIME等。但是，当前在图学习研究中常用的数据集和评估程序可能会对未来的发展产生负面影响。与实际应用中的图相比，大多数常用数据集都非常小。例如广泛使用的Cora、Citeseer、Pubmed数据集，在节点分类任务中只用2700至20000个节点。

本项目主要讲解了GraphSage、PinSage、GIN算法的原理和实践，并在多个数据集上进行仿真实验，基于PGl实现原论文复现和对比，也从多个角度探讨当前算法的异同以及在工业落地的技巧等。

ICLR2023的评审结果已经正式发布！今年的ICLR2023共计提交6300份初始摘要和4922份经过审查的提交，其中经过审查提交相比上一年增加了32.2%。在4922份提交内容中，99%的内容至少有3个评论，总共有超过18500个评论。按照Open Review评审制度，目前ICLR已经进入讨论阶段。官网链接：https://openreview.net/group?1、AI应用应用，例如：语音处理、计算机视觉、自然语言处理等2、深度学习和表示学习3、通用机器学习4、生成模型。

PGL图学习之图游走类metapath2vec模型[系列五]有疑问查看原项目相关项目参考：关于图计算&图学习的基础知识概览：前置知识点学习（PGL）[系列一] https://aistudio.baidu.com/aistudio/projectdetail/4982973?contributionType=1图机器学习(GML)&图神经网络(GNN)原理和代码实现(前置学习系列二）：https://a

在开始介绍图游走算法之前，先来学习一下什么是Graph Embedding。图嵌入是一种将图数据（通常为高维稠密的矩阵）映射为低微稠密向量的过程，如下图所示。图嵌入需要捕捉到图的拓扑结构，顶点与顶点的关系，以及其他的信息 （如子图，连边等）。如果有更多的信息被表示出来，那么下游的任务将会获得更好的表现。向量空间中保持连接的节点彼此靠近。节点嵌入和图嵌入。当需要对节点进行分类，节点相似度预测，节点分布可视化时一般采用节点的嵌入；

Paddle Graph Learning (PGL)是一个基于PaddlePaddle的高效易用的图学习框架易用性：建图方便高效性：运行速度快大规模：支持十亿节点百亿边丰富性：预置了主流的图学习算法在最新发布的PGL中引入了异构图的支持，新增MetaPath采样支持异构图表示学习，新增异构图Message Passing机制支持基于消息传递的异构图算法，利用新增的异构图接口，能轻松搭建前沿的异构图学习算法。

因为之前一直在研究知识提取相关算法，后续为了构建小型领域知识图谱，会用到知识融合、知识推理等技术，现在开始学习研究图计算相关。现在已经覆盖了图的介绍，图的主要类型，不同的图算法，在Python中使用Networkx来实现它们，以及用于节点标记，链接预测和图嵌入的图学习技术，最后讲了GNN应用。本项目参考了：maelfabien大神、以及自尊心3 在博客 or github上的贡献欢迎大家fork， 后续将开始图计算相关项目以及部分知识提取技术深化！

因为篇幅关系就只放了部分程序在第三章，如有需求可自行fork项目原始链接。欢迎fork本项目原始链接：关于图计算&图学习的基础知识概览：前置知识点学习（Paddle Graph L）因为之前一直在研究知识提取相关算法，后续为了构建小型领域知识图谱，会用到知识融合、知识推理等技术，现在开始学习研究图计算相关。

图机器学习(GML)&图神经网络(GNN)原理和代码实现(前置学习系列二）：https://aistudio.baidu.com/aistudio/projectdetail/4990947?关于图计算&图学习的基础知识概览：前置知识点学习（PGL）[系列一] https://aistudio.baidu.com/aistudio/projectdetail/4982973?NOTE：在得到节点路径后，node2vec会使用SkipGram模型学习节点表示，给定中心节点，预测局部路径中还有哪些节点。

定义skip-gram的网络结构，用于模型训练。在飞桨动态图中，对于任意网络，都需要定义一个继承自的类来搭建网络结构、参数等数据的声明。同时需要在forward函数中定义网络的计算逻辑。#这里我们使用的是paddlepaddle的1.8.0版本#一般来说，在使用fluid训练的时候，我们需要通过一个类来定义网络结构，这个类继承了fluid.dygraph.Layer#vocab_size定义了这个skipgram这个模型的词表大小#embedding_size定义了词向量的维度是多少。