去中心化的联邦图神经网络

最新推荐文章于 2023-05-31 22:09:57 发布
VIP文章 最新推荐文章于 2023-05-31 22:09:57 发布
阅读量1.6w 收藏 12
点赞数 2
分类专栏： 推荐系统 文章标签： 神经网络 去中心化 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44760744/article/details/121933239
版权

《Decentralized Federated Graph Neural Networks》论文阅读笔记

发表在2021年的IJCAI

  1. 背景
    GNN广泛用来分析图结构数据，然而，在用户端有隐私，规则限制，商业竞争等。因此，我们能看到的图结构数据是分布式的，这也就限制了GNN的应用。
  2. 已有方法
    已有一些关于中心化联邦图神经网络的研究，中心服务器协调各个参与者从图结构数据中训练的GNN模型。
  3. 存在问题
    中心服务器需要进行模型聚合操作，在很多跨领域场景下，这种中心服务器是不被接受的。因此，去中心化的学习模型在真实场景下还是很关键的。
  4. 本文
    提出一种去中心化的联邦图神经网络D-FedGNN，允许多个参与者训练一个图神经网络模型，且不需要中心服务器。具体的，使用去中心化的并行梯度下降是算法DP-SGD，在点对点的网络结构中训练图神经网络模型。为了保护模型聚合过程中的隐私，D-FedGNN引入Diffie-Hellman key exchange方法在客户端进行安全模型聚合。
    在这里插入图片描述
  5. 具体
    5.1 初始化
    每个客户端有自己的子图，G = (V,E)，在初始阶段，
最低0.47元/天 解锁文章
Xidian小韩同学
关注
  • 2
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
完全去中心化的联邦学习实例python源码+项目说明+模型+数据.zip
04-12
完全去中心化的联邦学习实例python源码+项目说明+模型+数据.zip 完全去中心化的联邦学习实例python源码+项目说明+模型+数据.zip 完全去中心化的联邦学习实例python源码+项目说明+模型+数据.zip 完全去中心化的联邦...
神经网络—卷积神经网络CNN
weixin_58420524的博客
01-19 2634
CNN卷积神经网络的定义及层级结构
【论文导读】-Cross-Node Federated Graph Neural Network for Spatio-Temporal Data Modeling（跨节点联邦图神经网络时空数据建模）
1+1=王的博客
05-31 3408
传感器、可穿戴设备和物联网设备网络生成的大量数据强调了对利用分散数据的时空结构的高级建模技术的需求，因为需要边缘计算和许可问题。虽然联邦学习已经成为模型训练的框架，不需要直接的数据共享和交换，但有效地对复杂的时空依赖关系进行建模以提高预测能力仍然是一个悬而未决的问题。另一方面，最先进的时空预测模型假设不受限制地访问数据，忽略了数据共享的限制。
机器学习中之规范化，中心化，标准化，归一化，正则化，正规化
热门推荐
answer3lin的博客
12-11 1万+
一、归一化，标准化和中心化 广义的标准化： （1）离差标准化(最大最小值标准化） （2）标准差标准化 （3）归一化标准化 （4）二值化标准化 （5）独热编码标准化 归一化 （Normalization）、标准化 （Standardization）和中心化/零均值化 （Zero-centered） 标准化 数据的标准化（normalization）是将数据按比例缩放（scale），使之落入...
阅读笔记（FedGraphNN: A Federated Learning Benchmark System for Graph Neural Networks）
weixin_44458771的博客
02-20 422
(Graph Neural Networks，GNNs)都是基于大量的图数据进行训练的，然而在许多现实场景中，例如医疗保健系统中的住院预测，图数据通常存储在多个数据所有者处，由于涉及患者的隐私和相关法律法规限制，不同数据所有者的数据不能直接共享。每个参与图联邦学习的客户端都持有一组图数据，例如在生物化学行业中，一个分子可以表示为一个图，其中节点表示原子，边表示化学键，客户端持有的图数据包括多个分子图，典型的应用是图分类。每个客户端拥有整张图的一部分数据（即子图），典型应用为链接预测、节点分类。
去中心化联邦学习-Python实现的2个案例
Python领域优质萌新创作者
03-23 1646
随着人工智能技术的发展，越来越多的数据被收集和使用。然而，这些数据通常分散在不同的设备上，例如移动设备、传感器等。联邦学习（Federated Learning）是一种解决这个问题的方法，它允许在不将数据传输到中央服务器的情况下进行模型训练。但是，联邦学习也存在一些问题，例如数据隐私保护、通信效率等，并且有些应用场景需要更高的安全性和去中心化的特性。因此，出现了去中心化的联邦学习（Decentralized Federated Learning）。
机器学习：样本去中心化目的
weixin_30344795的博客
07-06 606
作者：Spark链接：https://www.zhihu.com/question/37069477/answer/132387124来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 在回归问题和一些机器学习算法中，以及训练神经网络的过程中，通常需要对原始数据进行中心化（Zero-centered或者Mean-subtraction）处理和标准化（Stan...
联邦图神经网络：概述、技术和挑战
sinat_38007523的博客
05-24 1263
图神经网络以其处理实际应用中广泛存在的图形数据的强大能力，受到了广泛的研究关注。然而，随着社会越来越关注数据隐私，GNN需要适应这种新常态。这导致了近年来联邦图神经网络（FedGNNs）研究的快速发展。虽然有前途，这个跨学科的领域是非常具有挑战性的感兴趣的研究人员进入。缺乏对这一主题的深入调查只会加剧这一问题。在本文中，我们弥合这一差距，提供了一个全面的调查这一新兴领域。我们提出了一个独特的3层分类FedGNNs文献提供了一个清晰的视图GNNs如何在联邦学习（FL）的背景下工作。
去中心化联邦学习思想
Python领域优质萌新创作者
03-23 2406
在去中心化联邦学习中，每个设备只与其邻居设备通信，因此通信开销较小。但是，由于每个设备的模型更新仅基于其邻居设备的信息，因此可能存在模型发散或不能收敛的问题。在去中心化联邦学习中，每个设备都使用本地数据进行模型训练，并将模型更新发送给周围的邻居设备。相较于其他的联邦学习方式，去中心化联邦学习不需要集中式服务器来协调设备之间的通信，因此极大地减少了通信开销和单点故障风险。去中心化联邦学习算法的主要优点是对用户隐私具有更好的保护，而且通常比集中式的联邦学习更具有可扩展性和健壮性。我们的目标是学习一个全局模型。
时空数据建模的跨节点联邦图神经网络：KDD21 Cross-Node Federated Graph Neural Network for Spatio-Temporal Data Modeling
qq_56027260的博客
05-08 1171
前言 联邦学习（FL）虽然已经被广泛研究，但是对复杂的时空依赖关系进行建模以提高预测能力仍然是一个开放的问题。此外目前最优的时空预测模型假定对数据的访问不受限制，忽略了对数据共享的限制。基于此，本文提了一个基于图联邦学习的时空数据模型 Cross-Node Federated Graph Neural Network (CNFGNN)，该模型在跨节点联邦学习的约束下，使用基于图神经网络（GNN）的架构对底层图结构进行编码，属于结构化联邦的一种，每个本地模型利用私有数据进行学习，并保持分散性。CNFGNN
基于DAG区块链的联邦学习框架实现去中心化和个性化python源码+项目说明.zip
最新发布
04-11
基于DAG区块链的联邦学习框架实现去中心化和个性化python源码+项目说明.zip 基于DAG区块链的联邦学习框架实现去中心化和个性化python源码+项目说明.zip 基于DAG区块链的联邦学习框架实现去中心化和个性化python源码+...
基于深度神经网络的图像风格化方法综述
10-20
基于深度神经网络的图像风格化方法综述 基于深度神经网络的图像风格化方法综述 基于深度神经网络的图像风格化方法综述
处理动态图的图神经网络
weixin_44760744的博客
12-07 5493
汤吉良老师团队发表于2020年的SIGIR 《Streaming Graph Neural Networks》论文阅读笔记 背景： 图能够很好的表示实际数据（如社交网络，传输网络）。利用神经网络建模图结构数据，学习特征表示，改善图相关任务（如边预测，节点分类）的性能。 已有方法： 图神经网络（扩展传统的神经网络）用来处理图结构相关的任务。 存在问题： 已有的图神经网络都是为静态图设计的，不能利用动态图（比如社交网络中新用户加入或者有新的关系时）中的信息（已被证明能够促进各种图分析任务，如社区发现、边预测等
FedGraph：GCN与联邦学习的结合
weixin_44760744的博客
12-14 2729
这里写目录标题《FedGraph: Federated Graph Learning with Intelligent Sampling》论文阅读笔记 《FedGraph: Federated Graph Learning with Intelligent Sampling》论文阅读笔记 背景： FL能够在分布式设备中协同机器学习，同时保护数据隐私，因此受到了研究关注。然而，现有的FL主要关注卷积神经网络，在学习图像和声音数据上具有较高的准确性，但很多应用都是生成图结构数据，CNN并不能有效处理图结构数
基于GNN的社交推荐系统
weixin_44760744的博客
11-27 2375
发表于2019年WWW 《Graph Neural Networks for Social Recommendation》论文阅读笔记 GNN，融合了节点信息以及结构信息，在图结构数据中学习。在社交推荐系统中可以将用户-用户社交图，用户-项目图作为系统中的数据，学习用户和项目的特征，因此GNN在处理的时候有很大的优势。 问题：基于GNN建立社交推荐系统面临挑战： （1） 需要从用户-项目图，社交图中获得用户特征，怎样结合这两个图； （2） 用户-项目图中不仅包含用户项目之间的交互，还有评分。怎样获得用户项目
GCN在推荐系统中的应用
weixin_44760744的博客
11-07 2363
《Revisiting Graph based Collaborative Filtering: A Linear Residual Graph Convolutional Network Approach 》论文阅读笔记 图卷积网络GCN（迭代叠加多层卷积聚合操作和非线性激活操作）是最新的基于图的特征学习模型，已经广泛应用到了很多领域，社交网络分析，交通网络，推荐系统等。 CF从用户的历史交互数据中学习用户和项目的嵌入向量，提供项目推荐，若将用户的历史交互行为看成是一个二分图，CF就是在图中进行边的预测。
使用联邦学习解决推荐系统中的隐私泄露问题
weixin_44760744的博客
11-15 1726
推荐系统中的安全问题 《A NOVEL PRIVACY-PRESERVED RECOMMENDER SYSTEM FRAMEWORK BASED ON FEDERATED LEARNING》论文阅读笔记 推荐系统：解决信息过载的问题。RS需要收集用户个性化信息和行为，从而得到用户的喜好。 存在问题：集中收集的数据对隐私敏感，任何泄漏都可能给用户和服务提供商带来严重问题。 推荐系统中的隐私威胁： （1） 内部威胁：好奇或者不诚实的服务提供者； （2） 外部威胁：黑客攻击。 隐私泄露的案例： （1）2015年5
分层式个性化联邦学习建模用户
weixin_44760744的博客
11-04 1631
《Hierarchical Personalized Federated Learning for User Modeling》论文阅读笔记 发表在2021，WWW 背景：用户建模是获得用户潜在特征的关键，在推荐系统中，用户建模可以辅助建模用户的兴趣。但通常这个过程是中心化训练的，会泄露隐私。考虑到个人数据的隐私性和敏感性，提出一些规则来限制个人数据的使用。FL可以安全分布式的建模用户，受到广泛关注。但它假设数据是独立同分布的，不同客户端简单的初始化本地模型。这些假设限制了FL去适应不同信息且异构的模型。
图神经网络怎么初始化图
10-25
图神经网络的初始化方法与传统的神经网络有所不同。在传统的神经网络中，通常使用随机初始化的方法来初始化权重和偏置。而在图神经网络中，由于节点和边的数量和位置都是不确定的，因此需要一种特殊的初始化方法。 目前，常用的图神经网络初始化方法有两种：Xavier 初始化和Kaiming 初始化。其中，Xavier 初始化是一种比较常用的初始化方法，它的基本思想是根据输入和输出的维度来确定权重的初始化范围，使得输入和输出的方差相等。而Kaiming 初始化则是一种针对ReLU激活函数的初始化方法，它的基本思想是根据ReLU激活函数的特性来确定权重的初始化范围，使得激活函数的输出方差保持不变。 除了这两种方法之外，还有一些其他的初始化方法，如Data-dependent Initializations of Convolutional Neural Networks。这些方法都是为了更好地初始化图神经网络，以提高其性能和效率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值