腾讯隐私预算白皮书——三大流派之联邦学习助力实现多方联合机器学习

         隐私计算伴随着密码技术、硬件技术的发展加速商业化， 其技术路径也处于高速的演进和变化状态，其中联邦学习、多方安全计算和可信计算是当前主流技术路径，也是当下产品化的主要方向。此外区块链与隐私计算的融合应用也成为业界的共识，两者相辅相成。 

1、基本概念

        联邦学习是一种分布式机器学习技术和系统，包括两个或多个参与方，这些参与方通过安全的算法协议进行联合机器学习，可以在各方数据不出本地的情况下联合多方数据源建模和提供模型推理与预测服务。在联邦学习框架下，各参与方只交换密文形式的中间计算结果或转化结果，不交换数据，保证各方数据不露出。联邦学习可以通过同态加密、差分隐私、秘密分享等提高数据协作过程中的安全性。根据联邦学习各参与方拥有的数据的情况，可以将联邦学习分为两类，即横向联邦学习和纵向联邦学习。

        在横向联邦学习中，参与方在各方数据的“数量”这个维度上进行合作，解决单个参与方的训练数据不足的问题。在纵向联邦学习中，参与方在数据的“特征”和“标签”这两个维度上进行合作，解决单个参与方的数据特征过少或者没有标签的问题。纵向联邦学习需要计算参与方共同拥有的样本ID，可以通过多方安全计算中的隐私集合求交技术实现。

        联邦学习在深度学习领域的探索成为未来焦点。联邦学习在机器学习领域的应用已经比较成熟，如支持联邦逻辑回归、联邦XGBoost等模型，而在深度学习领域的应用还处于探索阶段。一方面，联邦学习需要支持更加多样化的深度学习模型，如广告领域常用的双塔模型、点击率预估模型、自然语言处理模型等，尤其支持多方联邦神经网络模型的训练，并提供高效的、安全的、无损的联邦模型训练协议，从而实现基于深度学习的联合建模。另一方面，联邦学习需要支持海量数据的深度学习模型训练，在计算机视觉、自然语言处理、广告等领域需要通过海量数据来训练深度学习模型，但受限于目前联邦学习的技术缺陷，需要通过增加联合计算的并行度，优化多方对接的接口等方式实现对海量数据处理的支持。

2、技术趋势

        联邦学习与其他隐私计算技术深度融合，加速向平台化演进。一方面，单一的隐私保护技术不能满足对联邦学习的安全性、效率、性能的要求、以及应对多样化的应用场景，联邦学习将与安全多方计算、区块链、可信计算等技术进行深入融合，并通过使用硬件加速技术，进一步提高联邦学习系统的安全性和交付效率，保证联邦训练的模型与集中训练的模型有相同的性能。另一方面，通过技术融合，联邦学习产品将会向通用型平台化发展，丰富服务模式，满足多样化的用户需求。按需提供数据安全保护服务和全栈的联合建模和联合分析功能，将成为联邦学习产品适应多样化业务场景的演进方向。