联邦学习论文阅读一：经典FedAvg

已于 2022-05-05 14:53:47 修改
阅读量9.8k 收藏 143
点赞数 45
分类专栏： 联邦学习论文合集 文章标签： python 分布式 机器学习
于 2022-05-05 14:28:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41605740/article/details/124584939
版权

联邦学习论文阅读一：经典FedAvg

Communication-Efficient Learning of Deep Networksfrom Decentralized Data

论文地址：https://arxiv.org/pdf/1602.05629.pdf

文章目录

1. Introduction

1.1 问题来源

移动设备中有大量数据适合机器学习任务，利用这些数据反过来可以改善用户体验。例如图像识别模型可以帮助用户挑选好的照片。但是这些数据具有高度私密性，并且数据量大，所以我们不可能把这些数据拿到云端服务器进行集中训练。论文提出了一种分布式机器学习方法称为联邦学习（Federal Learning），数据不出客户端，通过聚合本地计算更新来学习共享模型。

1.2 本文贡献

  • 将移动设备分散数据的培训问题确定为一个重要的研究方向；
  • 选择可应用于该设置的简单实用的算法；
  • 对提议的方法进行广泛的实证评估。
    在这里插入图片描述

1.3 Federal Learning理想模型

  • 适合联邦学习的问题：许多问题都符合上述特性，如：图像分类，预测那些图片在未来会被查看共享；语言模型，改善语音识别和触屏文本输入
    在这里插入图片描述

1.4 Privacy

  • 相比于数据中心集中进行训练，联邦学习有明显的隐私优势，数据本身没有出客户端，每次只更新模型梯度，其中包含的隐私内容要少得多，文章最后简要讨论了联邦学习和多方安全计算与差分隐私结合的可能性。

1.5 联邦学习与传统分布式学习的区别

  • 传统分布式学习关注的是将学习分布式，关注点在如何将一个大型神经网络训练分布式进行，数据仍然可能是在几个大的训练中心存储。而联邦学习更关注数据本身，利用联邦学习保证了数据不出本地，并根据数据的特点，如：非独立同分布、非平衡数据、大规模分布、通信限制等对联邦学习模型进行改进。本文重点关注非独立同分布数据、非平衡数据以及通信限制问题。
    在这里插入图片描述

1.6 联邦学习公式描述

  • 普通集中化学习
    在这里插入图片描述

  • 联邦学习
    在这里插入图片描述

K个客户端， P k P_k Pk​表示第k个客户端上的数据索引

1.7 Related Work

先前的工作大部分都没有考虑到数据非独立同分布和非平衡的影响。在凸环境下一些算法考虑到了通信效率问题，本文是通过增加客户单并行性和增加客户端计算来降低通信。一些算法使用非同步的SGD算法，但在异常情况下需要大量更新。分布式一致性算法可以训练非独立同分布数据，但在有大量客户端的情况下不适合进行通信优化。

2. The FederatedAveraging Algorithm

该章节首先讨论了深度学习大部分都是基于SGD算法，在SGD算法上进行的优化改进。所以SGD可以简单直接用于联邦学习

2.1 Baseline

  • Baseline: FedSGD在每一轮通信随机选择部分客户端进行单批次梯度计算，即Batch = 1，每一轮计算效率高但显然我们要进行更多轮训练，在不考虑客户端网络传输障碍等因素，FedSGD是一个同步训练模型（在中心化数据集情况下，同步模型优于异步模型）。
  • Baseline训练过程: 首先根据本地数据和当前全局模型进行一次梯度下降计算本地梯度，然后服务器加权平均聚合这些梯度形成新一轮全剧模型。

2.2 FedAvg

  • FedAvg: 在定义了Baseline这种训练方式之后，我们可以在本地进行多次训练，我们称这张方法为FedAvg，FedAvg的三个控制参数：
  • C: 每轮执行计算的客户端比列
  • E: 每一个客户端对本地数据训练次数
  • B: 客户端批大小，我们设置B = ∞为单批次，即一批次训练所有本地数据
  • FedSGD对应于B = ∞，E = 1
  • 算法伪代码描述如下：
    在这里插入图片描述

2.3 算法初始化

接着讨论在算法一开始训练时，我们的模型初始化方式。是每个客户端单独初始化自己的训练参数还是所有客户端共享相同的初始化参数。实验验证共享初始化要更好，可以减少总训练损失，推测原因可能是客户端训练过拟合局部数据集。同时在聚合梯度时，作者发现，原始的平均聚合方法也出奇的好。

3. Experimental Results

初步研究包括两个数据集三个模型族，前两个模型用于识别MNIST数据集,后一个用于实现莎士比亚作品集单词预测。

3.1 训练MNIST数据集设置

  • 目的: 识别图片里对应的数字是几
  • 2NN: 一个简单的多层感知器具有两个隐藏层，每层有200个单元，使用Relu激活。总共有199210个参数。
  • CNN: 两个卷积核大小为5✖️5的卷积层（第一个是32通道，第二个是64通道，每层后面都有一个2✖️2的最大池化层）。
  • 数据集划分
  • IDD模式: 数据先shuffe（随机打乱）然后分给100个客户端每个客户端600个样例。
  • Non-IDD模型: 按数字标签，将数据集划分为200个大小为300的碎片，每个客户端两个碎片，这样绝大多数客户端就只有两位数实例。

3.2 训练莎士比亚作品集设置

  • 目的: 读完每一行单词后预测下一个单词
  • LSTM: 将输入字符嵌入到一个已学习的8维空间中，然后通过两个LSTM层处理嵌入的字符，每层有256个节点，最后，第二个LSTM层的输出被发送到每个字符有一个节点的softmax输出层， 我们使用unroll的80个字符长度进行训练。总共有866578个参数。
  • 数据集划分
  • Unblanced-Non-IDD模式: 利用莎士比亚作品，按每个角色形成一个客户端，每个角色数据至少有两行，形成了1146个客户端，每个角色（客户端）前80%行数据用于训练，后20%行用于测试（四舍五入到至少一行）。
  • Balanced-IDD模式: 直接将莎士比亚作品划分给1146个客户端。

3.3 Increasing parallelism

  • 首先利用参数C实验客户端并行性表1显示了客户端并行性对达到目标准确率所需通信轮数的影响，C = 0表示每轮只选一个客户端进行训练（baseline），B = ∞即一批次训练所有本地数据，括号里的值表示相对应baseline的速度提升倍数，我们可以看到C = 0.1时速度有明显的提升，当C = 0.2即以上时速度并没有大的提升，所以我们基于此在收敛速度和通信效率之间做一个取舍，在接下来的实验中设置C = 0.1
    在这里插入图片描述

3.4 Increasing computation per client

  • 这个环节我们调整B和E来增加客户端计算。图2表明，每轮增加更多的本地SGD更新可以显著降低通信成本，表2量化了这些加速。B的调整对本地计算量影响不大，所以在实践中这是第一个要调整的参数。对于IDD数据每个客户端使用更多的计算将使CNN和2NN达到目标精度的轮数分别减少35倍和46倍，对于Non-IDD数据通信轮数也减少了2.8倍和3.7倍，这证明了我们的方法具有鲁棒性。
    在这里插入图片描述在这里插入图片描述

  • 对于Unbalanced-Non-IDD的莎士比亚数据我们减少通信轮数倍数更多（95倍加速，而Balanced数据只有13倍加速），推测可能是某些角色有相对较大的本地数据集，使得他的训练非常有价值。

  • FedAvg相比于FedSGD有更高的测试精度，不仅仅只是降低了通信轮数，精度甚至超过了中心化训练，我们推测是平均模型产生了类似Dropout的正则化效益。

3.5 Can we over-optimize on the client datasets?

  • 当前模型仅仅影响每次客户端更新的初始化训练，当E -> ∞对于凸问题而言，初始条件是无关紧要的，因为最终我们都能达到最小值，即使是对于非凸问题而言，只要是初始值在同一位置，我们也会收敛到同一局部极小值。也就是说，某一轮平均可能使模型得到一个好的结果，但是另外几轮平均并不会使模型进一步改进。

  • 图3显示了E对莎士比亚数据集预测字符的影响，结果表明，在训练后期，减少本地训练周期将有助于收敛。
    在这里插入图片描述

  • 而在MNIST CNN上的实验，本地周期E对收敛速度影响不大如图8。
    在这里插入图片描述

3.6 CIFAR experiments

  • 同时在CTFAR数据集上进行了实验，模型是TensorFlow教程中的模型包括两个卷积层，两个全连接层和一个线性传输层，大约10^6个参数。表3给出了baselineSGD、FedSGD和FedAvg达到三种不同精度目标的通信轮数。
    在这里插入图片描述

  • 图4给出了在不同学习率下FedSGD和FedAvg的曲线。
    在这里插入图片描述

3.7 Large-scale LSTM experiments

  • 为了证明我们的方法对于解决实际问题的有效性，我们进行了一项大规模单词预测任务

  • 训练集包含来自大型社交网络的100万个公共帖子。我们根据作者对帖子进行分组，总共有超过50个客户端。我们将每个客户的数据集限制为最多5000个单词。模型是一个256节点的LSTM，其词汇量为10000个单词。每个单词的输入和输出嵌入为192维，并与模型共同训练；总共有4950544个参数，使用10个字符的unroll。

  • 图5显示了最佳学习率曲线。
    在这里插入图片描述

  • 图10显示了FedAvg方差较低，同时E = 1取得了比E = 5更好的结果
    在这里插入图片描述

4. Conclusions and Future Work

我们的实验表明，联邦学习可以在实践中实现，因为它可以使用相对较少的几轮通信来训练高质量的模型，这一点在各种模型体系结构上得到了证明：一个多层感知器、两个不同的卷积NNs、一个两层LSTM和一个大规模LSTM。虽然联邦学习提供了许多实用的隐私保护，但是通过差分隐私、安全多方计算提供了可以提供更有力的保障，或者他们的组合是未来工作的一个有趣方向。请注意，这两类技术最自然地应用于像FedAvg这样的同步算法。

5. 代码实现

https://github.com/WHDY/FedAvg

6. 疑问

  1. 什么是凸神经网络目标，什么是非凸神经网络目标？
  • 凸神经网络指跟着梯度下降的方向一定能找到最优解，传统的机器学习问题大部分是凸神经网络问题
  • 非凸神经网络指跟着梯度下降的方向不一定能找到全局最优解，但会找到局部最优解，深度神经网络和小部分传统的机器学习问题是非凸神经网络问题
  1. 论文中：Recent work indicates that in practice, the loss surfaces of sufficiently over-parameterized NNs are surprisingly well-behaved and in particular less prone to bad local minima than previously thought. 是什么意思？
  • over-parameterized:在普通卷积层中加入depthwise卷积操作构成的over-parameterized卷积层，加速网络训练，在计算机视觉任务方面取得了不错的效果
  • 个人理解，该部分在讨论参数初始化是通过服务器模型共享初始化参数，还是客户端分别进行独立初始化参数，结论是服务器共享初始化参数要好，因为独立初始化可能会导致客户端模型过拟合局部训练集（可能在本地看来不是过拟合，但在全局看来是过拟合了）。该句话可能只是介绍一下最新的成果，提一下针对过拟合的解决方案。
  1. LSTM中unroll的含义
  • unroll: 布尔值 (默认 False)。 固定LSTM输入输出数目（个人对LSTM不太了解如有错误欢迎指正）
一步一个脚印ッ
关注
专栏目录
【CVPR 2021联邦学习论文解读】Model-Contrastive Federated Learning (MOON) 联邦学习撞上对比学习
捡起一束光的博客
01-19 9012
- 传统的对比学习是data-level的，本文改进了FedAvg的本地模型训练阶段，提出了model-level的联邦对比学习（Model-Contrastive Federated Learning） - 作者从NT-Xent loss中获得灵感，提出了model-contrastive loss。model-contrastive loss可以从两方面影响本地模型 1. 本地模型能够学到接近于全局模型的representation 2. 本地模型可以学到比上一轮本地模型更好的representatio
【ICML 2020联邦学习论文解读】SCAFFOLD: Stochastic Controlled Averaging for Federated Learning
捡起一束光的博客
11-30 5227
FedAvg的收敛速度受限于数据集的分布，在Non-IID数据集中FedAvg的收敛速度缓慢。本文提出了一种叫做SCAFFOLD的算法，通过增加一个额外的参数control variate来修正FedAvg出现的client-drift，以此来加快收敛速度，从而减少通信次数............
【论文阅读】(FedAvg)Communication-Efficient Learning of Deep Networks from Decentralized Data
qq_56483157的博客
06-08 819
表2的每一节中的行按这个统计量排序。只要B足够大 只要B足够大，以充分利用客户端上的可用并行性 只要B足够大，以充分利用客户端硬件上的可用并行性，那么降低B基本上没有计算时间上的成本 因此，在实践中，这应该是第一个调整的参数。然而，我们使用的标准模型足以满足我们的需求，因为我们的目标是评估我们的优化方法，而不是在这个任务上实现最佳的精度。我们考虑的（参数化）算法系列的一个端点是简单的单次平均法，即每个客户求解在其本地数据上损失最小的模型（可能是正则化的），这些模型被平均化以产生最终的全局模型。
【有啥问啥】联邦学习（Federated Learning, FL）：保护隐私的分布式机器学习
最新发布
Chauvin的博客
10-04 1089
联邦学习是一种创新的机器学习范式，它允许多个边缘设备（如智能手机、IoT设备）或数据中心在保持数据本地化的同时，协同训练一个共享的全局模型。这一过程中，数据无需离开其原始位置，仅通过交换模型更新（如梯度信息）来优化全局模型，从而在保护用户隐私的同时，实现模型性能的提升。
联邦学习论文阅读：Federated collaborative filtering
thormas1996的博客
04-02 3428
今年一月刚挂上arXiv的一篇联邦推荐文章Federated collaborative filtering for privacy-preserving personalized recommendation system。 摘要 作者将一个隐形反馈的CF模型修改成了联邦学习的框架，隐私性用Fed-Avg算法保证。总的来说，没什么创新。 问题 在保护用户隐私的情况下利用隐性反馈进行推荐 框架 ...
【联邦学习论文阅读】（AAAI-2021）Federated Block Coordinate Descent Scheme for Learning Global and Personalized
weixin_42567789的博客
04-11 999
在联邦学习中，先利用用户边缘设备中的私有数据学习模型，再将用户的数据聚合到服务提供商的“云”中，从而获得一个全局模型。据此作出两点改进： 考虑到用户习惯的不同，提出一个基于二次惩罚的公式，以有效地学习允许局部模型个性化的全局模型。 解决与边缘设备的异构训练时间相关的延迟问题：利用分层结构，对云和边缘设备之间的通信，以及云内部的通信进行建模。即设计一个定制的块坐标下降的计算方案，并提供同步和异步云设置的通信协议。
联邦学习-论文阅读-AAAI-Game of Gradients: Mitigating Irrelevant Clients in Federated Learning
qq_41940837的博客
03-17 779
1、Game of Gradients: Mitigating Irrelevant Clients in Federated Learning（选择客户端，主要为把不相关的客户端剔除出去） 1、概要 中心服务器无法知道每个客户端所拥有的数据的品质如何，因此在FL设置写如果选择相关客户端的问题十分复杂。将FL建模为一个合作博弈，将从作为客户端接收到的更新以及模型在服务器验证数据集上的性能作为特征函数。并计算每个客户机的Shapley值，并使用它来评估其与服务器的学习目标的相关性。提出了一种基于Shapley
【联邦学习论文阅读】（AAAI-2021）Secure Bilevel Asynchronous Vertical Federated Learning with Backward Updating
weixin_42567789的博客
04-11 1078
提出一种新颖的融合了反向更新和双层异步并行的垂直联邦学习框架（VFB2），以及在此框架下的 VFB2-SGD，VFB2-SVRG，VFB2-SAGA 三种新算法，助力多方协同训练模型并且不泄漏数据隐私，并在一定程度上破解垂直联邦学习算法不够高效的难点。
联邦学习论文整理
weixin_43773486的博客
01-14 2223
部分联邦论文整理-仅供参考-附其他人的整理工作-持续更新..
深度学习：联邦学习FedAvg算法详解
"这篇论文深入解析了FedAvg（Federated Averaging）算法，这是一种在分布式数据上学习深度网络的通信效率高的方法。FedAvg的主要目标是在保护用户隐私的同时，利用分布在移动设备上的大量数据进行模型训练。通过在...
Per-FedAvg：联邦个性化元学习
我爱计算机视觉
04-01 2045
关注公众号，发现CV技术之美Personalized Federated Learning with Theoretical Guarantees: A Model-Agnostic Meta-Learning Approach论文链接：https://proceedings.neurips.cc/paper/2020/file/24389bfe4fe2eba8bf9aa...
联邦学习论文阅读：Fair Resource Allocation in Federated Learning
thormas1996的博客
06-04 4076
arXiv上刚刚挂的一篇文章Fair Resource Allocation in Federated Learning，作者是CMU的AP Virginia Smith组的，搜了一下主页，居然是一个超级年轻的小姐姐~ Motivation 之前横向联邦学习一般都是follow google的FedAvg算法，将所有用户（或者随机一部分）更新的梯度取个平均作为中心模型的更新参数。显然，这种做法虽然...
联邦学习论文阅读：Federated Distillation and Augmentation under Non-IID Private Data
m0_46256271的博客
09-28 1287
Communication-Efficient On-Device Machine Learning: Federated Distillation and Augmentation under Non-IID Private Data 论文链接 (源码没有公开) 1 论文概述 1.1 Abstract 终端设备机器学习可以使用大量终端上的数据进行机器学习模型的训练。在这个过程中存在两个问题：1. 设备之间的通信压力问题(模型越大，需要传送的数据量就越大，会有效率问题，安全问题等)；2. 不同设备产生的数据
联邦学习--论文汇集（五）
weixin_45671820的博客
03-23 985
应用篇 不共享患者数据的多机构深度学习建模:脑肿瘤分割的可行性研究 [1] Sheller M J , Reina G A , Edwards B , et al. Multi-institutional Deep Learning Modeling Without Sharing Patient Data: A Feasibility Study on Brain Tumor Segmentation[J]. Springer, Cham, 2018. [2] 第一篇 深度模型需要大量的数据，标记医学图
联邦学习相关论文阅读
juli_eyre的博客
04-10 2984
联邦学习
联邦学习--论文汇总（十）
weixin_45671820的博客
05-18 3405
两篇关于压缩模型的联邦学习 Group Knowledge Transfer: Federated Learning of Large CNNs at the Edge(组知识迁移：边缘设备的大型CNN联邦学习) FedGKT可以有效地在边缘上训练小CNN，通过知识蒸馏周期性地将小CNN的知识转移到一个大容量的服务器端CNN。 边缘设备主要缺点是缺乏GPU加速器和足够的内存，无法在资源受限的边缘设备上训练大型CNN。 优点： 减少对边缘计算的需求，降...
联邦学习---论文汇集(一)
weixin_45671820的博客
03-13 1521
写这篇文章的时候，已经是开学半年了，还没什么进展。 一句话总结：读了很多，但没有理解透彻的。 下面梳理一下脉络，为后面进展做一个总结和展望。 随机梯度下降：梯度：函数的一阶导，可以用斜率表示，表示线的走向（正的过一三象限，负的过二四象限），寻找极值点。 分类 中心化 去中心化 独立同分布（iid） 非独立同分布(non-iid) FedAvg 加权平均 动量 双动量 ...
联邦学习--论文汇总（十一）
weixin_45671820的博客
05-19 1999
回归老本行，Non-iid !!! 【1】SEPARATE BUT TOGETHER: UNSUPERVISED FEDERATED LEARNING FOR SPEECH ENHANCEMENT FROM NON-IID DATA, arXiv:2105.04727v1. 分离但在一起:基于non-iid数据中增强语音的无监督联邦学习 FedEnhance: 一种无监督的联邦学习，用于跨多个客户端non-iid分布式数据的语音增强和分离。迁移学习促进收敛和学习性能。 现状 从高保真的混合声音分离出单独的声
[论文阅读] 有关联邦学习应用综述 A review of applications in federated learning
有关我的科研的足迹、算法竞赛的日子、生活记录。
11-27 2677
阅读笔记 A review of applications in federated learning 原文链接 因为最近在写一篇联邦学习应用方向的论文，所以阅读了本文章，作一些简要的笔记记录如下： 文章目录阅读笔记 A review of applications in federated learning一、本文介绍的联邦学习概述二、联邦学习的演变2.1 算法优化2.2 安全隐私风险安全 - 在联邦学习中的隐私保护技术三、联邦学习的应用移动设备上的应用工业生产应用医疗保健领域的应用四、美好的未来生活
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一步一个脚印ッ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值