大规模分布式图学习框架Euler

最新推荐文章于 2024-05-28 21:33:32 发布
最新推荐文章于 2024-05-28 21:33:32 发布
阅读量1.2k 收藏 2
点赞数
分类专栏： 图神经网络

最近在调研graph embedding图机器学习算法，尝试了DeepWalk在推荐场景应用，碰到构造大规模节点，模型跑不下来问题。

阿里妈妈刚开源大规模分布式图学习框架Euler，其配合TensorFlow或者阿里开源XDL等深度学习工具，支持用户在数十亿点数百亿边的复杂异构图上进行模型训练。为graph embedding在推荐场景落地提供参考。

一、Euler介绍

https://github.com/alibaba/euler
1. 框架
Euler系统分为最底层的分布式图引擎，中间层图语义的算子，高层的图表示学习算法。如下图所示

2. 应用
2.1 大规模图的分布式学习
工业界的图往往具有数十亿节点和数百亿边，有些场景甚至可以到数百亿节点和数千亿边，在这样规模的图上单机训练是不可行的。Euler支持图分割和高效稳定的分布式训练，可以轻松支撑数十亿点、数百亿边的计算规模。

2.2 支持复杂异构图的表征
工业界的图关系大都错综复杂，体现在节点异构、边关系异构，另外节点和边上可能有非常丰富的属性，这使得一些常见的图神经网络很难学到有效的表达。Euler在图结构存储和图计算的抽象上均良好的支持异构点、异构边类型的操作，并支持丰富的异构属性，可以很容易的在图学习算法中进行异构图的表征学习。

2.3 图学习与深度学习的结合
工业界有很多经典场景，例如搜索／推荐／广告场景，传统的深度学习方法有不错效果，如何把图学习和传统方法结合起来，进一步提升模型能力是很值得探索的。Euler支持基于深度学习样本的mini-batch训练，把图表征直接输入到深度学习网络中联合训练。

2.4 分层抽象与灵活扩展
Euler系统抽象为图引擎层、图操作算子层、算法实现层三个层次，可以快速的在高层扩展一个图学习算法。实际上，Euler也内置了大量的算法实现供大家直接使用。

3. 内置算法
名称    算法类型    是否自研    特点
DeepWalk    随机游走    否    经典的无偏随机游走无监督算法
Node2Vec    随机游走    否    利用可配置参数在游走时可倾向BFS或DFS
LINE    其它    否    灵活利用1阶，2阶邻居信息的无监督算法
GCN    邻居汇聚    否    CNN操作类似推广到非欧空间的算法
GraphSAGE    邻居汇聚    否    GCN改进，提出邻居采样，多种汇聚函数等
GAT    邻居汇聚    否    将Attention技术用于邻居汇聚
LsHNE    随机游走    是    异构图中随机游走，利用深度网络编码
LasGNN    邻居汇聚    是    半监督大规模异构图卷积网络学习方法
Scalable-GCN    邻居汇聚    是    加速GCN训练的一种方法
二、Euler安装
1. 编译
Euler的编译和启动依赖libhdfs.so和libjvm.so存在于$LD_LIBRARY_PATH中，因此需要添加环境变量如下

sudo vi ~/.bashrc
# 添加环境变量 
# ${JAVA_HOME}=/opt/modules/jdk1.8.0_172/jre
# ${HADOOP_HOME}=/opt/modules/hadoop-2.7.7
 
export LD_LIBRARY_PATH=/opt/modules/jdk1.8.0_172/jre/lib/server:$LD_LIBRARY_PATH
export LIBRARY_PATH=/opt/modules/hadoop-2.7.7/lib/native:$LIBRARY_PATH
export LD_LIBRARY_PATH=/opt/modules/hadoop-2.7.7/lib/native:$LD_LIBRARY_PATH
export CLASSPATH=$(/opt/modules/hadoop-2.7.7/bin/hadoop classpath --glob):$CLASSPATH
2. Euler安装 
Euler目前仅支持Python2，可以选择从PyPI或者源码编译安装Euler，推荐PyPI安装。

2.1 PyPI安装
目前PyPI上的wheel基于TensorFlow 1.12编译，仅能与TensorFlow 1.12二进制兼容。如需使用其他版本的TensorFlow需要重新编译。

pip install euler-gl
2.2 源码编译安装
git clone --recursive https://github.com/alibaba/euler.git
递归third_party失败，没有采用该方法安装。

三、GraphSage模型训练
GraphSage是由Stanford提出的一种Inductive的图学习方法，具有GCN模型的良好性质，同时在实际使用中可以扩展到十亿顶点的大规模图。接下来尝试使用Euler和TensorFlow进行GraphSage模型训练。

1. PPI数据
准备Euler引擎可以读取的图数据，这里我们以PPI（Protein-Protein Interactions）为例：

curl -k -O https://raw.githubusercontent.com/alibaba/euler/master/examples/ppi_data.py
pip install networkx==1.11 sklearn
python ppi_data.py
在当前目录下生成一个ppi目录（如下），其中包含构建好的PPI图数据。 

ppi
├── ppi-class_map.json
├── ppi_data.dat
├── ppi_data.json
├── ppi-feats.npy
├── ppi-G.json
├── ppi-id_map.json
├── ppi_meta.json
├── ppi_test.id
├── ppi_train.id
├── ppi_val.id
└── ppi-walks.txt

2. 模型训练
在训练集上训练一个半监督的GraphSage模型：

python -m tf_euler \
  --data_dir ppi \
  --max_id 56944 --feature_idx 1 --feature_dim 50 --label_idx 0 --label_dim 121 \
  --model graphsage_supervised --mode train
在当前目录生成一个ckpt目录（如下），其中包含训练好的TensorFlow模型。

ckpt/
├── checkpoint
├── events.out.tfevents.1548073220.lee
├── graph.pbtxt
├── model.ckpt-0.data-00000-of-00001
├── model.ckpt-0.index
├── model.ckpt-0.meta
├── model.ckpt-2220.data-00000-of-00001
├── model.ckpt-2220.index
├── model.ckpt-2220.meta
└── timeline-2209.json

3. 模型评估
在测试集上评估模型的效果：

python -m tf_euler \
  --data_dir ppi --id_file ppi/ppi_test.id \
  --max_id 56944 --feature_idx 1 --feature_dim 50 --label_idx 0 --label_dim 121 \
  --model graphsage_supervised --mode evaluate
使用Euler算法包默认参数训练得到的模型在测试集上的mirco-F1 score大概在0.6左右。 

4. embedding输出
导出顶点的embedding

python -m tf_euler \
  --data_dir ppi \
  --max_id 56944 --feature_idx 1 --feature_dim 50 --label_idx 0 --label_dim 121 \
  --model graphsage_supervised --mode save_embedding
在当下目录下的ckpt目录中生成一个embedding.npy文件和一个id.txt文件，分别表示图中所有顶点的embedding和id。


 四、GraphSage模型分布式训练
1. 分布式训练
Euler算法包及其底层的图查询引擎支持分布式的模型训练，用户需要在原始的训练命令上加入四个参数--ps_hosts、--worker_hosts、--job_name、--task_index指定分布式角色。如下提供脚本在本机的1998至2001端口上启动两个ps和两个worker进行分布式训练。

#!/usr/bin/env bash
NUM_PSES=2
NUM_WORKERS=2
 
PS_HOSTS=""
for I in $(seq $(($NUM_PSES - 1)) -1 0)
do
  PS_HOST="localhost:$((1999 - $I))"
  if [ "$PS_HOSTS" == "" ]; then
    PS_HOSTS="$PS_HOST"
  else
    PS_HOSTS="$PS_HOSTS,$PS_HOST"
  fi
done
 
WORKER_HOSTS=""
for I in $(seq 0 $(($NUM_WORKERS - 1)))
do
  WORKER_HOST="localhost:$((2000 + $I))"
  if [ "$WORKER_HOSTS" == "" ]; then
    WORKER_HOSTS="$WORKER_HOST"
  else
    WORKER_HOSTS="$WORKER_HOSTS,$WORKER_HOST"
  fi
done
 
for I in $(seq 0 $(($NUM_PSES - 1)))
do
  python -m tf_euler \
    --ps_hosts=$PS_HOSTS \
    --worker_hosts=$WORKER_HOSTS \
    --job_name=ps --task_index=$I &> /tmp/log.ps.$I &
done
 
for I in $(seq 0 $(($NUM_WORKERS - 1)))
do
  python -m tf_euler \
    --ps_hosts=$PS_HOSTS \
    --worker_hosts=$WORKER_HOSTS \
    --job_name=worker --task_index=$I $@ &> /tmp/log.worker.$I &
  WORKERS[$I]=$!
done
 
trap 'kill $(jobs -p) 2> /dev/null; exit' SIGINT SIGTERM
 
wait ${WORKERS[*]}
 
kill $(jobs -p) 2> /dev/null
2. 启动
使用分布式训练时，数据需要放置在HDFS上。

hdfs dfs -mkdir /data
hdfs dfs -put ppi /data/
启动脚本如下，进行分布式训练。

bash scripts/dist_tf_euler.sh \
  --data_dir hdfs://lee:8020/data/ppi \
  --euler_zk_addr lee:2181 \
  --max_id 56944 --feature_idx 1 --feature_dim 50 --label_idx 0 --label_dim 121 \
  --model graphsage_supervised --mode train
参考资料

https://blog.csdn.net/baymax_007/article/details/86093856

https://yq.aliyun.com/articles/625340 

https://github.com/alibaba/euler

 

ljtyxl
关注
专栏目录
3.知识图谱业务落地技术推荐之图神经网络算法库&图计算框架汇总
丨汀、的博客
02-13 1136
结合PaddlePaddle深度学习框架，我们的框架基本能够覆盖大部分的图网络应用，包括图表示学习以及图神经网络。与目前的图深度学习库 PyTorch Geometric（PyG）和 Deep Graph Library（DGL）相比，虽然 PyG 和 DGL 支持基本的图深度学习操作，但 DIG 为更高层次的、面向研究的图深度学习任务提供了一个统一的测试平台，如graph generation，self-supervised learning,，explainability 以及 3D graphs。
euler：分布式图深度学习框架
02-04
Euler-2.0新增功能 基础教程 进阶教程 详细接口 联系我们 如果有任何问题，请直接提交，也欢迎通过Euler开源技术支持邮件组（ ）联系我们。 执照 Euler使用许可 致谢 Euler由阿里妈妈工程平台团队与搜索广告算法团队共同探讨与开发，也获得了阿里妈妈多个团队的大力支持。同时也特别感谢蚂蚁金服的机器学习团队，项目早期的一些技术交流给予我们的帮助。
大规模分布式图学习框架Euler——安装和使用
baymax_007的博客
01-21 7266
目录 一、Euler介绍 1. 框架 2. 应用 2.1 大规模图的分布式学习 2.2 支持复杂异构图的表征 2.3 图学习与深度学习的结合 2.4 分层抽象与灵活扩展 3. 内置算法 二、Euler安装 1. 编译 2. Euler安装  2.1 PyPI安装 2.2 源码编译安装 三、GraphSage模型训练 1. PPI数据 2. 模型训练 3. 模型评估...
Project Euler框架.
兔子窝
02-09 1206
http://projecteuler.net一个朋友推荐给我的.最近拿来打发时间.做这种小东西我惯用js+windows script.但每次在cmd下敲cscript balabala....之类的是在烦不胜烦.加之纯js要代码重用只有copy & paste.弄个hta/html之类的又太麻烦.所以就做了这么个小玩意.euler.wsf:
Python-Euler阿里的大规模分布式图学习框架
08-11
Euler是大规模分布式的图学习框架，配合TensorFlow或者阿里开源的XDL等深度学习工具，它支持用户在数十亿点数百亿边的复杂异构图上进行模型训练。
euler
qq_43219250的博客
11-28 682
![z](https://img-blog.csdnimg.cn/b3e249c5fdc942f4b10cfa2e0fa52372.png?x-oss-process=image/watermark,type_ZHJvaRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5bel5YW35Lq65p2l5LqG,size_20,color_FFFFFF,t_70,g_se,x_1 Euler 公式的几何意义就是用折线近似代替方程的解曲线，因此 Euler 方法也称为折线法 程序
【Linux】阿里巴巴图学习框架Euler源码单机安装教程
长相忆兮长相忆的专栏
12-09 695
系统版本：Ubuntu 16.04 Euler目前开源的版本是Euler2.0，仅支持Python2，所以在安装的时候，为了避免不必要的坑，将系统的python版本设置成python2.7以上，这里以python2.7.12为例。（pip的版本要与python的版本对应） 安装参考：Euler2.0编译安装 尝试过从PyPI安装，貌似遇到了一些问题，弃掉从编码编译安装。（直接pip安装的那个是为了单机用户准备的，所以没有编译hdfs的部分）。 具体安装流程： 1、获取源码 git clon...
超大规模图技术在京东电商场景的实践.pdf
11-01
现有的图计算框架，如Euler、DGL、Paddle Graph Learning、Plato、PyTorch Geometric和Graph Learn等，虽然各有特点，但都存在一定的局限性，无法满足超大规模异构图数据的存储和分布式训练需求。 为此，京东自主...
5-6度小满金融超大规模图平台实践.pdf
03-18
度小满在比较了如Euler、DGL、PyG等不同的图学习框架后，选择了DGL，因为它提供了分布式图支持、高效计算、异构图处理以及丰富的算法库。DGL在处理大规模数据时表现出优秀的性能，尤其是在图采样、消息聚合和网络...
欧拉
Willen_的博客
01-03 228
欧拉 https://blog.csdn.net/liuzibujian/article/details/81086324
euler:Project Euler解决方案的Python实现
04-10
欧拉 收集有关问题的解决方案。 每个模块都包含一个问题的解决方案。 euler / data目录中包含解决方案的所有必要数据。 安装 克隆存储库： $ git clone https:// < USERNAME> @github.com/jcthomassie/euler.git 安装软件包和所有开发要求： $ pip install -r requirements.txt $ pip install -e .[dev] 注意：求解功能会使用自动将求解值复制到剪贴板。 如果您使用的是Linux，则需要才能运行此功能。 用法 安装软件包会添加euler入口点。 解决已经完成的问题： $ euler solve 45 54 [0.08013 sec] euler.problem_45.solve() = 1533776805 [0.04725 sec]
使用Python实现Euler公式
clpython的博客
09-05 903
借助python模拟Euler求数值解的过程，并画出图像。
【BJOI2014】Euler
cdy1206473601的博客
06-24 311
题目https://jzoj.net/senior/#contest/show/2008/3小结我们知道φ(x)=x*(1-1/p11/p1)*(1-1/p21/p2)….(1-1/pn1/pn) 所以反过来推，y=(p^qi−1)*(pi-1) 于是，我们就先把y所有约数找出来，若某约数+1是个质数那么把它存到a数组里， 然后递归 x1表示当前x值，y1表示当前y值 每到一个x，要枚举次
大规模图计算系统或框架分析
与书与你的博客
03-24 1283
大图计算系统与架构
Euler 欧拉系统介绍
最新发布
天道酬勤
05-28 3926
Euler 欧拉系统
图的dfs_euler
无雨
10-27 175
图的dfs_euler /欧拉道路和欧拉回路/ /* 从无向图中的一个结点出发走出一条道路，每条边恰好经过一次，这样的路线称为欧拉道路 如果一个无向图是连通的，且最多只有两个奇点（度数为奇数），则一定存在欧拉道路。 如果有两个奇点，它们必须是起点和， 如果奇点不存在，可以从任意点出发，最终一定会回到该点，称为欧拉回路 */ import java.util.Stack; public class 图的dfs_euler { static Stack<String> path =
欧拉(Euler)定理
鸟哥的博客
08-08 1410
Euler定理 设P为满足下列条件的多面体： (a) P的任何两个顶点可以用一串棱相连接；\lparen{a}\rparen\ P的任何两个顶点可以用一串棱相连接；(a) P的任何两个顶点可以用一串棱相连接； (b) P上任何由直线段(不一定非是P的棱不可)构成的圈，使P分割成两片.则对于P来说，v−e+f=2\lparen{b}\rparen\ P上任何由直线段(不一定非是P的棱不可)构成的\textbf{圈}，\\使P分割成两片.则对于P来说，v-e+f=2(b)&nbsp
OpenEuler华为欧拉系统安装教程及联网配置
鹿鸣天涯
03-31 4887
当前openEuler内核源于Linux，支持鲲鹏及其它多种处理器，能够充分释放计算芯片的潜能，是由全球开源贡献者构建的高效、稳定、安全的开源操作系统，适用于数据库、大数据、云计算、人工智能等应用场景。同时，openEuler是一个面向全球的操作系统开源社区，通过社区合作，打造创新平台，构建支持多处理器架构、统一和开放的操作系统，推动软硬件应用生态繁荣发展。激活右侧的联网按钮，如果设备连着网线，此时会自动获取IP地址，如果需要手动分配IP地址，择点击右下方的 配置选项。静待片刻后安装完成。
Euler方法和改进的Euler方法
weixin_46039719的博客
11-21 1577
目录 1、概述 2、代码 3、结果 （1）Euler方法 （2）改进的Euler方法 1、概述 Euler方法就是用直线近似来求解微分方程的方法。Euler方法知识点、数值分析的点点滴滴总结得特别棒。我们这里直接上代码。 2、代码 import numpy as np import matplotlib.pyplot as plt def funEval(x,y): #fxy = (x*y-y**2)/x**2 fxy=2*y/x+x**2*np.e**...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值