u013250861的博客

GNN-2008：Original GNN【消息传递（前向传播）：聚合函数+更新函数+输出函数】【核心：不动点理论】【梯度优化：用Almeida-Pineda算法，而不是用BPTT(反向传播)算法】

图神经网络(GNN)：GNN数据集【snap】

PyTorchGeometricTemporal是PyTorchGeometric（PyG）的一个时间图神经网络扩展库。它建立在开源深度学习和图形处理库之上。PyTorchGeometricTemporal由最先进的深度学习和参数学习方法组成，用于处理时空信号。PyTorchGeometricTemporal是第一个用于几何结构的时间深度学习的开源库，并在动态和静态图上提供常量时差图神经网络。我们使用离散时间图快照（discretetimegraphsnapshots）来实现这一点。...

图-第三方库(工具包)：networkx【处理图的工具包】

DGL库很友好出了就在这个地方，这里基本从那边粘贴过来，算作个人笔记。Deep Graph Library (DGL)是一个用于构建图模型的框架安装DGL支持, MXNet和TensorFlow三种后端，默认为PyTorch，可在~/.dgl/config.json中配置。

其主要分为四大模块Models、Opeartors、Storage和Engine。PyGGithubPyG官方文档PyG教程(1)初识PytorchGeometrictorch_geometric安装笔记https。

DGL库的逻辑层使用了顶点域的处理方式，使代码更容易理解。同时，又在底层的内存和运行效率方面做了大量的工作，使得框架可以发挥出更好的性能。

参考资料：介绍一个全局最优化的方法：随机游走算法(Random Walk)

《HOW POWERFUL ARE GRAPH NEURAL NETWORKS?》参考资料：【GNN】WL-test：GNN 的性能上界

《原始轮：Learning Convolutional Neural Networks for Graphs》

其实之前我们也举了一些例子，比如最朴素的方法，例如图上所有结点的表示取个均值，即可得到图的表示。那有没有更好的方法呢，它们各自的优点和缺点又是什么呢，本篇主要对上面这两个问题做一点探讨。篇幅不多，理论也不艰深，请读者放心地看。前面两篇博客分别介绍了基于循环的图神经网络和基于卷积的图神经网络，那么在本篇中，我们则主要关注在。基本的频域卷积网络要计算拉普拉斯矩阵所有的特征值和特征向量，计算量巨大。切比雪夫多项式是以递归方式定义的一系列正交多项式序列。的作用是让特征向量矩阵归一化到。假设切比雪夫多项式的第。

空域卷积非常直观地借鉴了图像里的卷积操作，但缺乏一定的理论基础。而频域卷积则不同，相比于空域卷积而言，它主要利用的是**图傅里叶变换(Graph Fourier Transform)**实现卷积。简单来讲，它利用图的**拉普拉斯矩阵(Laplacian matrix)**导出其频域上的的拉普拉斯算子，再类比频域上的欧式空间中的卷积，导出图卷积的公式。虽然公式的形式与空域卷积非常相似，但频域卷积的推导过程却有些艰深晦涩。接下来我们将攻克这部分看起来很难的数学公式，主要涉及到。

摘要：图神经网络在图的表示学习中得到了广泛的应用，在节点分类和链路预测等任务中取得了很高的性能。然而，大多数现有GNNs的设计目的是学习固定和齐次图上的节点表示。当学习指定错误的图或由各种类型的节点和边组成的异类图上的表示时，这种局限性尤其成问题。在本文中，我们提出了能够生成新图结构的图转换网络(GTNs)，它涉及到识别原始图上未连接节点之间的有用连接，同时以端到端方式学习新图上的有效节点表示。Graph Transformer层是GTNs的核心层，它学习了边类型的软选择和复合关系，以生成有用的多跳连接，即

从设计理念上看，空域卷积与深度学习中的卷积的应用方式类似，其核心在于聚合邻居结点的信息。比如说，一种最简单的无参卷积方式可以是：将所有直连邻居结点的隐藏状态加和，来更新当前结点的隐藏状态。这里非参式的卷积只是为了举一个简单易懂的例子，实际上图卷积在建模时需要的都是带参数、可学习的卷积核。消息传递网络(MPNN)是由Google科学家提出的一种模型。严格意义上讲，MPNN不是一种具体的模型，而是一种空域卷积的形式化框架。消息传递与状态更新操作，分别由Ml⋅Ml​⋅和Ul⋅Ul。

图神经网络(GNN)：GAT【Attention机制】

图神经网络(GNN)：GraphSAGE【归纳式学习框架】

图神经网络(GNN)-2013：Translating embeddings for modeling multi-relational data

我们之前曾提到卷积神经网络不能应用在图结构上是因为图是非欧式空间，所以大部分算法都沿着找到适用于图的卷积核这个思路来走。而 PATCHY-SAN 算法 《Learning Convolutional Neural Networks for Graphs》 另辟蹊径，它将图结构转换成了序列结构，然后直接利用卷积神经网络在转化成的序列结构上做卷积。由于 PATCHY-SAN在其论文中主要用于图的分类任务，我们下面的计算过程也主要针对图分类问题(例如，判断某个社群的职业)。那么，图结构转换成序列结构最主要的

图神经网络(GNN)：GCN【开山之作】

GNN-图卷积模型-2015：Convolutional Networks on Graphs for Learning Molecular Fingerprints

自然语言处理-GNN：SDNE【多层自编码器】

自然语言处理-GNN：LINE【1阶+2阶相似度】

自然语言处理-GNN：Metapath2vec【异构图网络】

自然语言处理-GNN：Node2vec【平衡同质性和结构性】

图神经网络(GNN)-2014：DeepWalk: online learning of social representations

2017：A Survey on Network Embedding

微博、微信、LinkedIn 这些社交软件我想你肯定都玩过吧。在微博中，两个人可以互相关注；在微信中，两个人可以互加好友。那你知道，如何存储微博、微信等这些社交网络的好友关系吗？这就要用到我们今天要讲的这种数据结构：图。实际上，涉及图的算法有很多，也非常复杂，比如图的搜索、最短路径、最小生成树、二分图等等。我们今天聚焦在图存储这一方面，后面会分好几节来依次讲解图相关的算法。一、概述我们前面讲过了树这种非线性表数据结构，今天我们要讲另一种非线性表数据结构，图（Graph）。和树比起来，这是一种更加复杂的

的发展将图数据的分析与深度神经网络结合，在越来越多的领域发挥出重要的作用，例如电商推荐、生物化学结构分析、反恐反诈风险控制等等。数据规模也呈现越来越大之势，动辄上千万节点规模的图，让很多图神经网络的训练需要探寻并行计算的方式以加速。然而，图数据与视觉、自然语言等领域的数据不同，没有划分好的训练样本，很多情况下训练样本是从一个巨大的图中去随机采样，特征也需要在采样的过程中遍历邻接节点，这种天然特性使得对大规模图的并行训练并不容易。本期文章将为大家详细描述。幻方AI最近尝试对图神经网络的并行训练进行优化，以。

目前的图神经网络主要针对同质图（节点类型和边类型单一）设计.- 同质图中只有一种类型的节点和边(例如,只有朋友关系的社交网络),网络结构较为简单.因此,同质图神经网络通常只需要聚合单一类型的邻居来更新节点的表示即可(例如,通过在朋友关系下的邻居来更新节点表示). - 但真实世界中的图大部分都可以被自然地建模为异质图(多种类型的节点和边,如下图所示,IMDB数据中包含三种类型的节点Actor、Movie和Director，两种类型的边Actor-Moive和Movie-Director). 多种类型的节点

本文试图沿着图神经网络的历史脉络，从最早基于不动点理论的**图神经网络**(Graph Neural Network， GNN)一步步讲到当前用得最火的**图卷积神经网络**(Graph Convolutional Neural Network， GCN)。本文的提纲与叙述要点主要参考了3篇图神经网络的Survey，分别是来自：- IEEE Fellow的 [Comprehensive Survey on Graph Neural Networks](https://arxiv.org/abs/190

简单来说，transductive和inductive的区别在于我们想要预测的样本，是不是我们在训练的时候已经见（用）过的。所谓直推式学习（GCN等），就是训练期间可以看得到没有标注的节点（训练需要整个图里面所有的节点参与），那么。我们常用的机器学习模式，就是这样的：根据已有数据，学习分类器，然后应用于新的数据或任务。所谓归纳式学习，在训练期间，看不到没有标注的节点常见的有GraphSAGE等。，指的是由当前学习的知识直接推广到给定的数据上。的情况下，结合已有的训练数据，看能不能推广到测试数据上。

最近，Facebook 开源了自己的图神经网络库 PyTorch-BigGraph（简称 PBG），有了它，再大的图都能快速生成图嵌入，并且完全不需要 GPU，对拥有数十亿节点的大规模图嵌入、电子商务中的推荐系统、社交媒体中的链接预测等任务都提供了极大的便利。研究人员在最近的 SysML 会议上发表了一篇关于 PBG 的论文，文中公开可用的社交图数据集实验结果表明“PBG 优于竞争方法”。本文是 AI 前线第 75 篇论文导读，我们将深入了解 PBG 背后的系统架构细节、原理和大型图上的实验效果。

又换了22.10，没有段错误但是，缺少te.pytorch.DotProductAttention！之前一直以为是识别不到megatron里的tokenizer，或者是pip tokenizer的包，弄了好久，结果是根本就是缺少了一个tokenizer.py。将huggingface转换为megatron可用，但是这个卡跑不下7B的，砍了参数，就不适配这个转换好的 了。在这里安装apex成功了，但是模型训练使用的时候又报错了！下载镜像 ，选好版本（别用太高，不适配，多踩了很多坑），有apex的就行。

在 PyTorch 中训练大语言模型不仅仅是写一个训练循环这么简单。我们通常需要将模型分布在多个设备上，并使用许多优化技术以实现稳定高效的训练。的创建是为了支持跨 GPU 和 TPU 的分布式训练，并使其能够非常容易的集成到训练代码中。🤗还支持使用API 来训练，其在 PyTorch 中提供功能完整的训练接口，甚至不需要自己编写训练的代码。是研究人员用于预训练大型 Transformer 模型的另一个流行工具，它是 NVIDIA 应用深度学习研究团队开发的一个强大框架。与accelerate和。

得益于PyTorch灵活的外部扩展形式，只要不去触碰框架底层运行机制，仅仅在算子层面上的修改还是相当简单。这其实就是PyTorch的一个拓展，为了利用FP8的特性，针对Transformer里面的Kernel进行了重写，包含了一系列LayerNorm, GeLU, ScaledSoftmax等。具体到每一个算子实现动态范围调整的原理其实很简单，通过记录历史的abs max值，来去调整最终缩放的范围。在FP16下，其数据范围还是足够大的，因此在AMP下，

在几个月前nv就发表过关于fp8数制训练和推理的白皮书，大概三四个月前公开了他们针对transformer模型的fp8训练的软件库TransformerEngine，由于最近在关注fp8训练，因此想了解一下他们的实现方案，但是由于没有H100的卡，目前还不能跑通te的代码，很多细节没办法验证，只能通过源码的阅读来观察它插入了什么功能实现fp8量化训练，特此记录一下。从这些层面来说，te的代码阅读难度还好，大部分工作是基于pytorch的一些数据结构，涉及底层的代码也不算多。

1.确认您已经安装了 OpenCV 库。可以通过在命令行中输入。来检查您是否已经安装了该库。如果您还没有安装它，可以使用。

其中新添加的True赋值给。

实现 run.sh的功能的同时，可以进行调试。

拆分到最接近的分块（块量化）发生在输出矩阵大小无法被分块大小整除的时候，使用像其他前面的那些块一样，执行同样的计算量，来执行处理最边沿行列的线程块，但运算结果中只有一部分是有用的。图4演示了一个这样的tile的过程。图4，对于大小分别为M * K和K * N的两个矩阵相乘，是分别在前者中取大小为Mtile * Ktile，后者中取大小为Ktile * Ntile的不同滑块，（进行局部乘加）得到C中大小为Mtile * Ntile的滑块，然后两个矩阵分别在各自的横向和纵向进行滑动，完成得到整体C的计算。