【联邦学习论文笔记2】4篇文章摘要和关键

1.Vertical Federated Learning: Challenges, Methodologies and Experiments

  • 垂直FL (VFL)能够通过包含来自不同客户端的子模型来构建超ML模型。这些子模型通过具有不同属性的垂直分区数据进行局部训练。在本文中,我们旨在讨论VFL的关键挑战和有效的解决方案,并在真实数据集上进行实验,以阐明这些问题。
  • 在此基础上,从安全隐私风险、昂贵的计算和通信成本、模型分裂可能造成的结构破坏、系统异构等4个方面讨论了基于VFL系统的研究挑战。
  • 我们还对设计VFL系统时所考虑的问题逐一讨论了可能的解决方案。最后,我们利用两个现实世界的数据集评估了研究的问题和解决方案,例如DP辅助VFL、压缩增强通信效率和资源分配分割设计。
    在这里插入图片描述

2 Semi-Supervised Cross-Silo Advertising with Partial Knowledge Transfer

作为一种利用跨竖井私有数据的新兴安全学习范式,垂直联邦学习(VFL)有望通过联合学习广告商和发布者私有的互补用户属性来改善广告模式。然而,将其应用于广告系统有两个关键挑战:a)标记重叠样本的有限规模,b)实时交叉库服务的高成本。在本文中,我们提出了一个半监督的拆分蒸馏框架VFed-SSD来缓解这两个限制。我们发现:i)在广告系统中存在大量未标记的重叠数据,ii)我们可以通过拆分联邦模型来保持模型性能和推断成本之间的平衡。具体来说,我们开发了一个自监督任务匹配对检测(MPD)来利用垂直分割的未标记数据,并提出了分裂知识蒸馏(SplitKD)模式来避免跨竖井服务。对三个工业数据集的实证研究1表明了我们的方法的有效性,在本地和联邦部署模式下,所有数据集的平均AUC分别提高了0.86%和2.6%。总的来说,我们的框架为跨竖井实时广告提供了一个有效的解决方案,部署成本最低,性能显著提高。

3 Residue-based Label Protection Mechanisms in Vertical Logistic Regression

本文首先提出了一种标签推理攻击方法来研究垂直逻辑回归模型的潜在隐私泄露问题。具体来说,我们发现攻击者可以利用由本地数据集构造的线性方程组和接收到的解密梯度计算出的剩余变量来推断私有标签。为了解决这一问题,我们提出了三种保护机制,即加性噪声机制、乘性噪声机制和利用局部差分隐私和同态加密技术的混合机制,以防止攻击,提高垂直逻辑回归模型的鲁棒性。实验结果表明,加性噪声机制和乘性噪声机制均能实现有效的标签保护,且模型检测精度略有下降,混合机制能实现有效的标签保护,且检测精度没有下降,证明了该保护技术的有效性和高效性。

4 Improving Privacy-Preserving V ertical Federated Learning by Efficient Communication with ADMM

  • 提出了一种具有多头(VIM)的高效的VFL优化框架。为了解决我们的优化问题,我们提出了一种基于admm的方法,该方法允许在每个步骤进行多个本地更新,从而降低了通信成本。
  • 为的VIM框架提出了DP机制,并证明了其隐私保障。
  • 在MNIST、CIFAR、NUS-WIDE和ModelNet40数据集上进行了广泛的实验,并表明基于admm的算法在VIM下比现有的VFL框架收敛更快,实现更高的精度,并在DP下保持更高的效用。
  • 基于线性人头权重准则评估VIM下的客户级解释,并演示其支持的功能,如客户去噪和汇总。
### 联邦学习与机器视觉的第一篇论文 联邦学习(Federated Learning, FL)是一种分布式机器学习技术,允许模型在不共享数据的情况下通过聚合本地更新来训练全局模型。而机器视觉领域涉及图像视频的理解与处理。尽管两者结合的研究近年来迅速发展,但追溯到最早的开创性工作可以发现一篇具有里程碑意义的文章。 最早将联邦学习应用于机器视觉领域的研究之一是由 McMahan 等人在 2017 年发表的一篇文章[^3]。该文章首次提出了联邦平均算法(FedAvg),这是联邦学习的核心方法之一。虽然这篇论文主要关注的是移动设备上的文本预测任务,但它奠定了联邦学习的基础理论框架,并启发了许多后续针对计算机视觉场景的工作。 随后,在更具体的机器视觉方向上,Konečný et al. 的研究进一步探索了如何利用联邦学习解决图像分类等问题[^4]。这些早期尝试表明,即使是在资源受限的环境中,也可以有效实现高质量的视觉识别性能。 值得注意的是,“第一篇”严格定义可能因具体应用场景不同而有所变化。如果需要更加精确的时间线或者特定子领域的起源,则建议查阅 IEEE Xplore 或 ACM Digital Library 中的相关索引数据库以获取权威记录。 ```python import tensorflow_federated as tff from tensorflow.keras import layers, models def create_model(): model = models.Sequential([ layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)), layers.MaxPooling2D((2, 2)), layers.Flatten(), layers.Dense(10, activation='softmax') ]) return model federated_model = tff.learning.from_keras_model(create_model()) ``` 上述代码片段展示了基于 TensorFlow Federated 实现的一个简单卷积神经网络架构,用于演示联邦学习环境下的机器视觉建模过程。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值