初识联邦学习(Federated learning)

  联邦学习(Federated learning)最早在2016由谷歌提出，并在之后受到大量的关注。本文旨在简要介绍联邦学习，了解联邦学习的背景，而不关注联邦学习具体的实现方案。希望能解释通如下几个问题。
  1.为什么要有联邦学习
  2.什么是联邦学习
  3.联邦学习的简易模型
  4.联邦学习的优势

1.为什么要有联邦学习？

  在阅读联邦学习相关文献时，总会遇到一个词——去中心化。联邦学习实际上是机器学习的一种，只不过它改变了机器学习的训练模式，变得更加安全。常规的机器学习训练方式是将全部数据送到一个中心区域，由中心区域的算力完成计算。相对于数据的提供者，中心算是第三方，数据提供者不希望将数据提供给第三方，因为存在潜在的数据泄露危险(这就是数据孤岛问题)。于是关于不提供数据，但仍能完成模型运算的愿景就被提出。这就是联邦学习！
  联邦学习的目标就是在保证数据隐私安全及合法合规的基础上，实现共同建模，提升AI模型的效果/在保障大数据交换时的信息安全，保护终端数据和个人隐私数据，保证在合法合规的前提下在多方参与或多计算节点之间开展高效率的机器学习。

2.什么是联邦学习？

  联邦学习的架构思想有两种，一种是中心化联邦(客户端/服务器)架构，一种是去中心化联邦(对等计算)架构。我们常用联邦学习代指去中心化这种。不同于之前数据集中式的训练，联邦学习支持模型的本地训练(利用本地数据)，并将本地训练的模型上传至一个server，由server将多个小模型聚合，形成一个大模型。关于什么是联邦学习，有更为专业的描述：联邦学习是一种带有隐私保护，安全加密技术的分布式机器学习框架，旨在让分散的各参与方在满足不向其他参与者披露隐私数据的前提下，协作进行机器学习的模型训练(参考：详解联邦学习Federated Learning。

  联邦学习的分类有三种：
    1）Horizontal FL(横向联邦)
    2）Vertical FL(纵向联邦)
    3）Federated Transfer L(联邦迁移)
  关于联邦学习的分类是基于特征重叠和样本重叠比重确定的，如下图：

  具体的分类细节以及图源都来自于这篇文章：详解联邦学习Federated Learning

3.联邦学习的简易模型

  联邦学习有三大构成要素：数据源、联邦学习系统、用户。具体模型关系如下图：

  简单来说就是数据源本地利用已有数据训练子模型，传递至coordinator处由Federated model进行聚合形成完成model，再将完整model提供给用户使用。

4.联邦学习的优势

  联邦学习四个优势(参考过来滴~)：
  1）数据隔离，数据不会泄露到外部，满足用户隐私保护和数据安全的需求
  2）能够保证模型质量无损，不会出现负迁移，保证联邦模型比割裂的独立模型效果好
  3）参与者地位对等，能够实现公平合作
  4）能够保证参与各方在保持独立性的情况下，进行信息与模型参数的加密交换，并同时获得成长。

最后留一些关于联邦学习的参考文献：
[1]Yang Q, Liu Y, Chen T, et al. Federated machine learning: Concept and applications[J]. ACM Transactions on Intelligent Systems and Technology (TIST), 2019, 10(2): 1-19.
[2]Li T, Sahu A K, Talwalkar A, et al. Federated learning: Challenges, methods, and future directions[J]. arXiv preprint arXiv:1908.07873, 2019.

因作者水平有限，如有错误之处，请在下方评论区指正，谢谢！