联邦学习和差分隐私

联邦学习

“联邦学习”（Federated Learning, FL）让互相不信任的各方，可以把样本和特征汇聚到一起，共同获得更好的预测模型。
说白了，就是大家联起手来学习。

联邦学习是隐私计算的一种实现方法，另外还有多方安全计算（MPC)、差分隐私等方法。

1. 联邦学习的三种实现方法

（1）横向联邦学习

几家业务类似的机构（需要学习、预测的特征是类似的），但是用户、样本是不同的，例如一个地区的不同银行之间，他们各有各的客户，但是需要分析的数据特征都是存款额度、贷款额度等，那么它们之间的合作，就叫做“横向联邦学习”（HFL）

（2）纵向联邦学习

组织的客户群体是类似的，但是特征并不相同。譬如有一家银行和一家保险公司同在一个城市，它们的客户群体很多是重合的，但是银行的数据是用户的资产信息，而保险公司的数据是用户的保险信息，如果它们想要在不互相披露数据的情况下，联合开发一个风控模型。这时候采用的方法叫做“纵向联邦学习”（VFL）。

（3）联邦迁移学习

联邦迁移学习针对的是两家机构之间，样本数据不同，特征也不同的情况，例如两个城市的银行和保险公司。它们如何想要合作开发一个风控模型，就需要采用联邦迁移学习。
类似于骑摩托车和自行车完全不同，我们希望通过学习，将骑自行车的技能迁移到骑摩托车上。

2. 应用领域

1）金融机构可以结合多方数据，建立更加全面的风控模型，对贷款人的信用进行评估；
2）医疗机构可以整合不同医院的数据，开发疾病检测模型、影像分析模型或者疫情防控模型；
3）监管机构可以通过组合不同部门、机构的数据，对洗钱、欺诈等行为建立更加精确的预警模型。

3. 优缺点

优点：
1）在保障数据不出客户端的情况下，兼顾分布式计算和联合计算的优势。
2）各方只需要在本地进行训练，数据体量不增加，算力成本压力小。

缺点：
1）安全性的代价是性能。与不需要加密的分布式机器学习相比，联邦学习的性能显然要低得多。
2）联邦学习默认各个参与方是可信的，虽然采取了一些防范措施，但是仍然难以有效防范恶意参与方或者“诚实但是好奇”的参与方，引入虚假数据或者有害数据。
3）联邦学习的各个参与方的计算能力不同，网络连接不稳定，数据机构差异大等，而过程中又需要进行大量的互相通信，因而通信效率很容易成为性能瓶颈。

差分隐私

1. 差分攻击介绍

假设现在有一个婚恋数据库，2个单身8个已婚，只能查有多少人单身。刚开始的时候查询发现，2个人单身；现在张三跑去登记了自己婚姻状况，再一查，发现3个人单身。所以张三单身。

张三：样本

2. 差分隐私介绍

用途：需要使得攻击者的知识不会因为新样本的出现而发生变化。对查询的结果加入噪声，使得攻击者无法辨别某一样本是否在数据集中。一个形象的说法就是，双兔傍地走安能辨我是雄雌。

方法：加入随机噪声。比如刚才的例子，本来两次查询结构是确定的2和3，现在加入随机噪声后，变成了两个随机变量，画出它们概率分布图。

3. 拓展——Rényi Differential Privacy

差分隐私本质上是保持两个分布近似，衡量相似性时，差分隐私使用的是最大熵来衡量，而RDP引入的是瑞丽熵。
最大熵实际上是瑞丽熵的特例，是α趋向于无穷时的情况。
具体来说，RDP引入一个瑞丽熵的α值来拓展传统差分隐私的概念

实现 Rényi 差分隐私的基本机制：高斯机制。