联邦学习-入门

联邦学习

背景

• 近年来人工智能可谓风风火火，掀起一波又一波浪潮，从人脸识别、活体检验发现刑事案件报警到阿尔法狗大战人类围棋手李世石、再到无人驾驶、以及已被普遍应用的精准营销，AI逐步进入人们生活的方方面面。
• 相关政策出台，如欧盟的《通用数据保护条例》（GDPR），我国的《数据安全管理办法（征求意见稿）》，因此数据在安全合规的前提下自由流动，成了大势所趋；在用户和企业的角度下，商业公司所拥有的数据往往都有巨大的潜在价值。各方都要考虑利益的交换，数据也往往以孤岛形式出现。
• AI是靠数据来喂的，而且是大量优质数据。 除了少数巨头公司能够满足，绝大多数企业都存在数据量少，数据质量差的问题，不足以支撑人工智能技术的实现。

基于以上不足以支撑现实、不允许粗暴交换、不愿意贡献价值，导致现在大量存在的数据孤岛，以及隐私保护问题，联邦学习应运而生。

概念

本质：联邦学习本质上是一种分布式机器学习技术，或机器学习框架。
目标：联邦学习的目标是在保证数据隐私安全及合法合规的基础上，实现共同建模，提升AI模型的效果。
前身：联邦学习最早在 2016 年由谷歌提出，原本用于解决安卓手机终端用户在本地更新模型的问题。

分类

我们把每个参与共同建模的企业称为参与方，根据多参与方之间数据分布的不同，把联邦学习分为三类：横向联邦学习、纵向联邦学习和联邦迁移学习。

横向联邦学习

适用场景

横向联邦学习的本质是样本的联合，适用于参与者间业态相同但触达客户不同，即特征重叠多，用户重叠少时的场景，比如不同地区的银行间，他们的业务相似（特征相似），但用户不同（样本不同）。

学习过程

步骤

1. 参与方各自从服务器A下载最新模型；
2. 每个参与方利用本地数据训练模型，加密梯度上传给服务器A，服务器A聚合各用户的梯度更新模型参数；
3. 服务器A返回更新后的模型给各参与方；
4. 各参与方更新各自模型。

纵向联邦学习

适用场景

纵向联邦学习的本质是特征的联合，适用于用户重叠多，特征重叠少的场景，比如同一地区的商超和银行，他们触达的用户都为该地区的居民（样本相同），但业务不同（特征不同）。

学习过程

纵向联邦学习的本质是交叉用户在不同业态下的特征联合，比如商超A和银行B，在传统的机器学习建模过程中，需要将两部分数据集中到一个数据中心，然后再将每个用户的特征join成一条数据用来训练模型，所以就需要双方有用户交集（基于join结果建模），并有一方存在label。

步骤

第一步：加密样本对齐。是在系统级做这件事，因此在企业感知层面不会暴露非交叉用户。
第二步：对齐样本进行模型加密训练：

1. 由第三方C向A和B发送公钥，用来加密需要传输的数据；
2. A和B分别计算和自己相关的特征中间结果，并加密交互，用来求得各自梯度和损失；
3. A和B分别计算各自加密后的梯度并添加掩码发送给C，同时B计算加密后的损失发送给C；
4. C解密梯度和损失后回传给A和B，A、B去除掩码并更新模型。

联邦学习迁移学习

介绍

迁移学习，是指利用数据、任务、或模型之间的相似性，将在源领域学习过的模型，应用于目标领域的一种学习过程；核心是找到源领域和目标领域之间的相似性。

适用场景

当参与者间特征和样本重叠都很少时可以考虑使用联邦迁移学习，如不同地区的银行和商超间的联合。主要适用于以深度神经网络为基模型的场景。

学习过程

联邦迁移学习的步骤与纵向联邦学习相似，只是中间传递结果不同（实际上每个模型的中间传递结果都不同）。联邦迁移的思想：