联邦学习
“联邦学习”(Federated Learning, FL)让互相不信任的各方,可以把样本和特征汇聚到一起,共同获得更好的预测模型。
说白了,就是大家联起手来学习。
联邦学习是隐私计算的一种实现方法,另外还有多方安全计算(MPC)、差分隐私等方法。
1. 联邦学习的三种实现方法
(1)横向联邦学习
几家业务类似的机构(需要学习、预测的特征是类似的),但是用户、样本是不同的,例如一个地区的不同银行之间,他们各有各的客户,但是需要分析的数据特征都是存款额度、贷款额度等,那么它们之间的合作,就叫做“横向联邦学习”(HFL)
(2)纵向联邦学习
组织的客户群体是类似的,但是特征并不相同。譬如有一家银行和一家保险公司同在一个城市,它们的客户群体很多是重合的,但是银行的数据是用户的资产信息,而保险公司的数据是用户的保险信息,如果它们想要在不互相披露数据的情况下,联合开发一个风控模型。这时候采用的方法叫做“纵向联邦学习”(VFL)。
(3)联邦迁移学习
联邦迁移学习针对的是两家机构之间,样本数据不同,特征也不同的情况,例如两个城市的银行和保险公司。它们如何想要合作开发一个风控模型,就需要采用联邦迁移学习。
类似于骑摩托车和自行车完全不同,我们希望通过学习,将骑自行车的技能迁移到骑摩托车上。
2. 应用领域
1)金融机构可以结合多方数据,建立更加全面的风控模型,对贷款人的信用进行评估;
2)医疗机构可以整合不同医院的数据,开发疾病检测模型、影像分析模型或者疫情防控模型;
3)监管机构可以通过组合不同部门、机构的数据,对洗钱、欺诈等行为建立更加精确的预警模型。
3. 优缺点
优点:
1)在保障数据不出客户端的情况下,兼顾分布式计算和联合计算的优势。
2)各方只需要在本地进行训练,数据体量不增加,算力成本压力小。
缺点:
1)安全性的代价是性能。与不需要加密的分布式机器学习相比,联邦学习的性能显然要低得多。
2)联邦学习默认各个参与方是可信的,虽然采取了一些防范措施,但是仍然难以有效防范恶意参与方或者“诚实但是好奇”的参与方,引入虚假数据或者有害数据。
3)联邦学习的各个参与方的计算能力不同,网络连接不稳定,数据机构差异大等,而过程中又需要进行大量的互相通信,因而通信效率很容易成为性能瓶颈。
差分隐私
1. 差分攻击介绍
假设现在有一个婚恋数据库,2个单身8个已婚,只能查有多少人单身。刚开始的时候查询发现,2个人单身;现在张三跑去登记了自己婚姻状况,再一查,发现3个人单身。所以张三单身。
张三:样本
2. 差分隐私介绍
用途:需要使得攻击者的知识不会因为新样本的出现而发生变化。对查询的结果加入噪声,使得攻击者无法辨别某一样本是否在数据集中。一个形象的说法就是,双兔傍地走安能辨我是雄雌。
方法:加入随机噪声。比如刚才的例子,本来两次查询结构是确定的2和3,现在加入随机噪声后,变成了两个随机变量,画出它们概率分布图。
3. 拓展——Rényi Differential Privacy
差分隐私本质上是保持两个分布近似,衡量相似性时,差分隐私使用的是最大熵来衡量,而RDP引入的是瑞丽熵。
最大熵实际上是瑞丽熵的特例,是α趋向于无穷时的情况。
具体来说,RDP引入一个瑞丽熵的α值来拓展传统差分隐私的概念
实现 Rényi 差分隐私的基本机制:高斯机制。