隐私计算技术解读：横向联邦学习

01.横向联邦学习的概念

联邦学习（Federated Learning, FL）这一名词由谷歌在2016年提出[1]，并从此受到持续关注。联邦学习能够有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。

在国内，“联邦学习”这一概念结合数据分布的具体场景，由微众银行率先将其分为横向联邦学习、纵向联邦学习与联邦迁移学习[2]。在该划分标准下，谷歌最初提出的联邦学习场景为横向联邦学习，即多个数据方拥有的数据特征维数相同，最终训练出的模型的输入维数与各数据方的数据特征维数也相同。在该设定下，各数据方可以在相同的特征空间上用各方的所有样本来训练模型。

一个经典的应用场景是：谷歌在其安卓手机自带的Gboard键盘上，使用横向联邦学习方法训练了机器学习模型，用以预测（联想）用户的下一输入词[3]。

横向联邦学习通常存在一个中心服务器，在每一轮（或几轮）的学习中，中心服务器将模型下发给各数据方，各数据方用本地数据训练出模型参数的更新梯度，服务器使用安全聚合（Secure Aggregation, SecAgg）方法将各方梯度收集到服务器端，计算出平均梯度，用以更新服务器端的模型，在下一轮下发给各数据方，直至收敛[4]。FedSGD是谷歌最初提出的基于安全聚合方法的联邦平均随机梯度下降算法[1]，此后，为了减少通信开销，又提出了FedAvg算法，通过增加本地学习的轮数，减少了梯度聚合的交互次数，并且加速了模型收敛[5]。

无论FedSGD或FedAvg，其核心都是计算得出梯度，并能随之应用各种基于梯度（一阶导数）的优化方法，如SGD、RMSProp、AdaGrad、AdaDelta、Adam等。综合多方本地梯度，协同计算聚合梯度而不暴露任一方梯度值的方法，即为安全聚合。

在横向联邦学习中，各参与方基于相同初始模型、各自本地数据进行神经网络的正向传播与误差的反向传播，并基于此计算出本地梯度；对于各个参与方的本地梯度ÿ