针对问题:
基于采样的图神经网络框架上的节点嵌入聚合问题。促进主机之间节点嵌入和权重矩阵共享。
提出方案:
框架结构:
- 客户端:一个被持有的节点,分为两类:专用节点(仅对一台主机可见)和公共节(对两台或两台以上主机可见)点。
- 主机:每个主机访问一定数量的节点,并进行训练。与子图中看不见的节点相关的所有向量都初始化为零。
- 采样器:将整个网络划分为子图,并将其发送给主机。
- 聚合服务器:进行聚合。
方法:
对于主机n,首先将看不见的节点属性设置为0,然后馈送第一个p层网络来生成每个节点的嵌入。并将嵌入推送到聚合服务器。聚合服务器对所有主机的嵌入计算平均后将全局嵌入发送给每个主机。主机将得到的全局嵌入馈送到其余的m-p层,并通过反向传播更新模型权重。模型权重也推送到聚合服务器,并计算得到全局模型权重。
实验默认设置:私有节点k=N-1Nπ。GNN有三层,嵌入在第一层之后进行共享
参考文献 :Yu T, Lai P, Teng F. Federated Graph-based Networks with Shared Embedding[J]. arXiv preprint arXiv:2210.01803, 2022.