QA派｜GNN工业应用-PinSAGE

最新推荐文章于 2022-05-08 23:05:16 发布
最新推荐文章于 2022-05-08 23:05:16 发布
阅读量354 收藏 1
点赞数
分类专栏： GNN QA派 文章标签： 机器学习 神经网络 图计算 人工智能 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46970982/article/details/108190834
版权
PinSAGE是基于图神经网络的推荐系统模型，应用于Pinterest平台，用于生成pins的高质量embedding。与GraphSAGE相比，PinSAGE采用了重要性采样、加权平均的聚合函数，并通过生产者-消费者模式优化了大规模图数据的处理。模型训练使用max-margin ranking loss，以有监督方式进行，并通过渐进式“hard”负采样提升模型性能。在推理阶段，PinSAGE利用MapReduce避免重复计算，实现高效推荐。
摘要由CSDN通过智能技术生成

QA派｜GNN工业应用-PinSAGE

文章目录

基本概念

pins是什么意思？

Pinterest是一个图片素材网站，pins是指图片，而boards则是图片收藏夹的意思。

Pinterest会根据用户的浏览历史来向用户推荐图片。

PinSAGE论文中的数据集有多大？

论文中涉及到的数据为20亿图片（pins），10亿画板（boards），180亿边（pins与boards连接关系）。

用于训练、评估的完整数据集大概有18TB，而完整的输出embedding有4TB。

PinSAGE使用的是什么图？

在论文中，pins集合（用I表示）和boards集合（用C表示）构成了二分图，即pins仅与boards相连接，pins或boards内部无连接。

同时，这二分图可以更加通用：

  • I 可以表示为样本集（a set of items），
  • C 可以表示为用户定义的上下文或集合(a set of user-defined contexts or collections)。

PinSAGE的任务是什么？

利用pin-board二分图的结构与节点特征，为pin生成高质量的embedding用于下游任务，比如pins推荐。

PinSAGE有特别区分pin节点和board节点吗？

没有。PinSAGE并没有明确区分pin节点和board节点。

只使用节点来作为一般指代。

和GraphSAGE相比，PinSAGE改进了什么？

  1. 采样：使用重要性采样替代GraphSAGE的均匀采样；
  2. 聚合函数：聚合函数考虑了边的权重；
  3. 生产者-消费者模式的minibatch构建：在CPU端采样节点和构建特征，构建计算图；在GPU端在这些子图上进行卷积运算；从而可以低延迟地随机游走构建子图，而不需要把整个图存在显存中。
  4. 高效的MapReduce推理：可以分布式地为百万以上的节点生成embedding，最大化地减少重复计算。

这里的计算图，指的是用于卷积运算的局部图（或者叫子图），通过采样来形成；与TensorFlow等框架的计算图不是一个概念。

PinSAGE使用多大的计算资源？

训练时，PinSAGE使用32核CPU、16张Tesla K80显卡、500GB内存；

推理时，MapReduce运行在378个d2.8xlarge Amazon AWS节点的Hadoop2集群。

PinSAGE和node2vec、DeepWalk这些有啥区别？

  1. node2vec，DeepWalk是无监督训练；PinSAGE是有监督训练；
  2. node2vec，DeepWalk不能利用节点特征；PinSAGE可以；
  3. node2vec，DeepWalk这些模型的参数和节点数呈线性关系，很难应用在超大型的图上；

聚合函数

PinSAGE的单层聚合过程是怎样的？

和GraphSAGE一样，PinSAGE的核心就是一个局部卷积算子，用来学习如何聚合邻居节点信息。

如下图算法1所示，PinSAGE的聚合函数叫做CONVOLVE。

主要分为3部分：

  1. 聚合（第1行）：k-1层邻居节点的表征经过一层DNN，然后聚合（可以考虑边的权重）， γ \gamma γ是聚合函数符号，聚合函数可以是max/mean-pooling、加权求和、求平均；
  2. 更新（第2行）：拼接第k-1层目标节点的embedding，然后再经过另一层DNN，形成目标节点新的embedding；
  3. 归一化（第3行）：归一化目标节点新的embedding，使得训练更加稳定；而且归一化后，使用近似最近邻居搜索的效率更高。

为什么要将邻居节点的聚合embedding和当前节点的拼接？

因为根据T.N Kipf的GCN论文，concat的效果要比直接取平均更好。

采样

PinSAGE是如何采样的？

如何采样这个问题从另一个角度来看就是：如何为目标节点构建邻居节点。

和GraphSAGE的均匀采样不一样的是，PinSAGE使用的是重要性采样。

PinSAGE对邻居节点的定义是：对目标节点影响力最大的T个节点。

PinSAGE的邻居节点的重要性是如何计算的？

其影响力的计算方法有以下步骤：

  1. 从目标节点开始随机游走；
  2. 使用 L 1 L_1 L1​正则 来计算节点的“访问次数”，得到重要性分数；

目标节点的邻居节点，则是重要性分数最高的前T个节点。

这个重要性分数，其实可以近似看成Personalized PageRank分数。

关于随机游走，可以阅读《Pixie: A System for Recommending 3+ Billion Items to 200+ Million Users in Real-Time》

重要性采样的好处是什么？

  1. 和GraphSAGE一样，可以使得邻居节点的数量固定，便于控制内存/显存的使用。
  2. 在聚合邻居节点时，可以考虑节点的重要性；在PinSAGE实践中，使用的就是加权平均（weighted-mean），原文把它称作 importance pooling。

采样的大小是多少比较好？

从PinSAGE的实验可以看出，随着邻居节点的增加，而收益会递减；

并且两层GCN在邻居数为50时能够更好的抓取节点的邻居信息，同时保持运算效率。

MiniBatch

最低0.47元/天 解锁文章
chengsen.ren
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【GNN】PinSAGE：GCN 在工业级推荐系统中的应用
阿泽的学习笔记
06-09 2709
今天学习的是 Pinterest 和斯坦福大学 2018 年合作的论文《Graph Convolutional Neural Networks for Web-Scale Recommender Systems》，目前有 200 多次引用。 论文中提出的 PinSAGE 结合了随机游走和 GCN 来生成节点的 Embedding 向量。同时考虑了图结构和节点的特征信息。此外，PinSAGE 也设计了一种新颖的训练策略，该策略可以提高模型的鲁棒性并加快模型的收敛。 这篇论文是 GraphSAGE 一次成功的应
GraphSAGE论文阅读笔记
yanhe156的博客
07-31 8106
论文: Inductive Representation Learning on Large Graphs Motivation 大多数graph embedding框架是transductive(直推式的), 只能对一个固定的图生成embedding。这种transductive的方法不能对图中没有的新节点生成embedding。相对的，GraphSAGE是一个inductive（归纳式）框架，...
GNN之GraphSAGE学习
法相的博客
05-28 2660
mark一下，感谢作者分享！ 斯坦福工程：http://snap.stanford.edu/graphsage/ 文末有paper和code：https://blog.csdn.net/imark11/article/details/78698844 代码解析：https://www.cnblogs.com/shiyublog/p/9819086.html ...
转载 | 认知推理：从图表示学习和图神经网络的最新理论看AI的未来
朝闻道
02-22 1092
近年来，图表示学习（Graph Embedding）和图神经网络（Graph Neural Network, GNN）成为网络数据分析与应用的热点研究问题，其特点是将深度神经网络技术用于网络结构的建模与计算，诞生了以 DeepWalk、LINE 和 node2vec 为代表的图表示学习技术，以 GCN 为代表的图神经网络，能够利用分布式表示方案实现对网络中的节点、边及其附带的标签、属性和文本等信息的建模，从而更好地利用网络结构进行精细建模和深度推理，相关技术已经被广泛用于数据挖掘、社会网络分析、推荐系统、自
图神经网络 | (5) GraphSAGE实战
sdu_hao的博客
02-02 1万+
近期买了一本图神经网络的入门书,最近几篇博客对书中的一些实战案例进行整理，具体的理论和原理部分可以自行查阅该书，该书购买链接：《深入浅出的图神经网络》。 该书配套代码 本节我们通过代码来介绍GraphSAGE以加深读者对相关知识的理解，如书中介绍的那样，GraphSAGE包括两方面，一是对邻居的采样；二是对邻居的聚合操作。 目录 1. 对邻居采样 2. 对邻居聚合 3. 定义SageG...
PyPI 官网下载 | gnn-1.1.9-py3-none-any.whl
02-06
《PyPI官网下载：gnn-1.1.9-py3-none-any.whl——Python图形神经网络库解析》 PyPI（Python Package Index）是Python开发者的重要资源库，它提供了大量的第三方Python库，供全球的开发人员免费下载和使用。在给定的...
安装GNN-Pytorch-geometric必备的四个包！torch-geometrivc.rar
11-18
本教程将详细介绍在安装GNN-Pytorch-geometric时需要的四个关键包：torch_cluster、scatter、sparse以及spline_conv。 1. **torch_cluster** `torch_cluster` 是PyG的一个子模块，提供了各种图聚类和图采样算法，...
PyPI 官网下载 | tf-gnns-0.1.3.tar.gz
01-16
然而，"tf-gnns"可能提供了另一种实现方式，或者具有独特的特性或优化，例如更快的计算速度、更高效的内存管理，或者是特定类型的GNN模型，如GraphSAGE、GCN或GAT。 在解压tf-gnns-0.1.3.tar.gz后，通常会包含以下...
GNN在计算机视觉中的应用综述
Jeff zhao
07-01 8223
摘 要：近几年，机器学习和深度学习发展迅速。研究人员借鉴了卷积神经网络（CNN）、循环神经网络（RNN）和深度自动编码器（AutoEncoder）的思想，定义和设计了用于处理图数据的神经网络结构，这类方法统称为图神经网络(Graph Neural Networks，GNN）。如今，GNN在人工智能领域应用广泛，其中最大应用领域之一是计算机视觉（Computer Vision, CV）。近年来，国内外许多研究机构和科研人员不断探索利用GNN解决图像分类、目标检测、动作识别等多种计算机视觉任务，并取得很多优秀.
【图表示学习算法系列】一：GraphSAGE-归纳式图表示学习算法
小小小草儿的博客哟
03-31 3590
论文题目：Inductive Representation Learning on Large Graphs 论文链接：https://arxiv.org/pdf/1706.02216.pdf 论文发表在NIPS2017 0.摘要 在一个大型图中，对节点的低纬度嵌入表示是十分有用的，之前的算法需要图中所有的节点信息且对未知数据的泛化能力一般，这种方法被称为transductive；而本文的方法...
图神经网络（六）GNN的应用简介（1）GNN的应用简述
weixin_43360025的博客
05-08 3021
图神经网络（六）GNN的应用简介（1）GNN的应用简述第6章 GNN的应用简介6.1 GNN的应用简述参考文献 第6章 GNN的应用简介  由于图数据具有及其广泛的使用场景，GNN这项技术的相关应用近年来也得到了长足发展。本章就以GNN的应用来阐述其研究现状与未来趋势 [0] 。  6.1节对GNN的应用做出了一个概括性的简述；6.2节以3个具体的应用案例来说明GNN的相关优势；6.3节我们对GNN研究的未来展望进行讨论。 6.1 GNN的应用简述  GNN的适用范围非常广泛，既可以处理具有显式关联结构的
[PinSage] Graph Convolutional Neural Networks for Web-Scale Recommender Systems 论文详解KDD2018
知行合一，止于至善
09-18 4998
文章目录摘要1 简介1.1 背景介绍1.2 推荐系统评测指标2 相关研究3 方法3.1 Problem Setup3.2 Model ArchitectureForward propagation algorithmImportance-based neighborhoodStacking convolutions 堆叠卷积层3.3 Model Training 模型训练Loss function...
【GNN应用】一文详解欺诈检测在GNN上应用（窦英通）
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
01-14 3111
导读：本文是一篇来自学术界伊利诺伊大学芝加哥分校的大佬【窦英通】的分享，不会讲太多的具体实操案例，而是根据我对于欺诈检测领域的了解以及学术界的论文，介绍这些论文的发展脉络和论文中一些代表性的工作，以及从论文中总结出如何更好地把图神经网络应用到欺诈检测问题中的方法论。最后，还会给出一些相关资源以及我们实验室做的一些开源项目供大家参考。文中提到的论文和资源，大家如果感兴趣可以进一步研究和学习。 本文主要包含以下几大方面： 背景介绍 研究历程 应用方法 相关资源 目.
FastGCN： fast learning with graph convolutional networks via importance sampling 论文详解 ICLR 2018
知行合一，止于至善
09-21 8779
文章目录1 简单介绍概率测度 probability measure自助法 bootstrappingGCN面临的两个挑战解决思路（创新点）2 相关工作3 通过采样进行训练和推理定理13.1 variance reduction 方差缩减Proposition 2（命题2）定理3命题43.2 Inference 推理3.2 和GraphSAGE的对比4 实验Benchmark数据集实验细节Fast...
【网络表示学习】GraphSAGE
热门推荐
zjwreal
05-25 1万+
Inductive Representation Learning on Large Graphs, NIPS 2017 目前大多数图嵌入方法在训练过程中需要图中所有节点参与，属于直推学习（transductive），无法直接泛化到之前未见的节点。本文提出一种适用于大规模网络的归纳式（inductive）模型-GraphSAGE，能够为新增节点快速生成embedding，而无需额外训练过程。 G...
从上到下｜图网络开放数据集
chengsen.ren
09-04 5526
从上到下｜图网络开放数据集 很多学者和机构发布了许多与图相关的任务，以测试各种GNN的性能。这些任务一般都会提供数据集。 按照任务分类，可以把数据集分成以下几类： 引文网络 生化图 社交网络 知识图谱 开源数据集仓库 参考资料： A Comprehensive Survey on Graph Neural Networks Introduction to Graph Neural Networks 引文网络 Pubmed/Cora/Citeseer 引文网络，节点为论文、边为论文间的引用关系。这
从上到下，一文带你看全所有GNN分类
chengsen.ren
08-08 3274
从上到下，一文带你看全所有GNN分类 一般来说，我喜欢从上往下的角度来入门一个方向，毕竟入门的秘诀就是从广到深，而不至于在一开始就只见枝叶不见森林。先在心中有个谱，然后再慢慢奏好每个音符，这样就会出来美妙的旋律。 我们挑选了清华大学刘知远老师的《Introduction to Graph Neural Networks》和他们的一份综述《Graph Neural Networks: A Review of Methods and Applications》作为参考。优秀的综述很多，我可能也参考了其他，但主要
QA派｜初识GraphSAGE
chengsen.ren
08-15 1114
QA派|初识GraphSAGE 图网络中节点的低维embedding，对于各类预测、图分析任务都非常有用；相对于要求一整张图作为输入的GCN，能分批训练的GraphSAGE在工业界似乎更加常用。本文通过问答的形式，来对GraphSAGE有个初步的理解。 QA派，用问答的形式为加深对模型、问题的理解，同时也有助于不断深入。 文章目录QA派|初识GraphSAGE基本概念有了GCN为啥还要GraphSAGE？GraphSAGE有什么优点？GraphSAGE的基本思路是什么？跳数（hops）、搜索深度（se
gnn-objdump -v bash: gnn-objdump: command not found
最新发布
06-01
安装完成后，你可以再次运行 `gnn-objdump -v` 命令来查看版本号。如果你使用的是其他 Linux 发行版，可以使用相应的包管理器来安装 GNN binutils。如果没有现成的包可用，你可以从 GNN 官方网站下载源代码并手动...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值