联邦学习学习心得（1）——联邦学习简介

联邦学习简介

背景

国际社会上对信息安全、个人隐私的问题越来越重视，各种相关的法案相继颁布，对私人数据的管理、监督、保护更加全面化、严格化、密集化。各个公司对各自的数据也越来越重视，作为资产不可能拿出来分享，这就造成了数据孤岛的现象。同时与传统的机器学习（machine learning）和深度学习（deep learning）方法相矛盾的是，传统的方法需要集合大量的数据才能训练出足够准确的模型。怎么样在保证自己的数据不被泄露的条件下，训练出满意的模型呢？联邦学习（federated learning）就此而来。

联邦学习的介绍

联邦学习（federated learning），我更喜欢形象的称之为联合学习，顾名思义，就是联合不同终端、不同公司、不同商家的数据，共同训练模型。当然这里的联合并非指的是将所有的数据放在一起，而是各个数据分开训练各自的模型，将信息（比如梯度）发送中间的协调者（arbiter），协调者再处理、分发更新后的梯度等信息，从而完成各自模型的更新，反复迭代这一过程，直至损失函数小于预定值才结束。其中为保证过程数据不会泄露，运用了一些加密技术。
一句话来总结：数据不动模型动。

联邦学习的分类

根据联合数据的特点，可以将联邦学习分为三类：横向联邦学习（horizontal learning,homogeneous learning）、纵向联邦学习（vertical learning,heterogeneous）、联邦迁移学习（federated transfer learning）。
针对数据，我们可以从两个角度去了解，分别是质和量，对应着纵向和横向维度。如果我们需要扩展数据，从以上两个维度出发，对于质（纵向），可以扩展更多的特征，刻画更为准确地人物画像，这也就是纵向联邦学习，联合的数据拥有相同的用户ID，不同的特征。另外一种扩展数据的方法就是从量的角度出发，联合的数据拥有相同的特征维度，不同的用户ID，即横向联邦学习。
除此之外，在联合的数据集拥有相同的特征维度和用户ID都较少的情况下，可以利用迁移学习来克服数据或标签不足的情况。这种方法叫做联邦迁移学习。

纵向联邦学习

纵向联邦学习的工作过程：所用的纵向联邦学习首先进行的都是加密样本对齐，接着再开始训练过程，训练过程大致可分为四步：1.发送公钥 2.交换内联结果 3.计算梯度和损失并上传 4.更新模型。具体实现原理可参照下一篇学习心得。

横向联邦学习

横向联邦学习的工作过程比较简单，同样参考我的下一篇学习心得，不再过多阐述。

联邦学习的优点

1. 数据隔离，私有数据不会泄露。
2. 无损，和传统的机器学习方法将数据集合在一起训练出来的模型精度几乎相同。
3. 对等，参与者地位相同。
4. 共同获益，所有参与者都能得到最终的训练模型。

参考

1. 联邦学习网站
2. Webank联邦学习课程
3. 全球第一个工业级开源框架FATE