纵向联邦学习的挑战与展望

《联邦学习》（杨强等著）读书笔记

我们把在数据集上具有相同的样本空间、不同的特征空间的参与方所组成的联邦学习归类为纵向联邦学习，也可以理解为按特征划分的联邦学习。

出于不同的商业目的，不同组织拥有的数据集通常具有不同的特征空间，但这些组织可能共享一个巨大的用户群体。通过使用VFL，我们可以利用分布于这些组织的异构数据，搭建更好的机器学习模型，并且不需要交换和泄露隐私数据。

在这种联邦学习体系下，每一个参与方的身份和地位是相同的。联邦学习帮助大家建立起一个”共同获益“策略，这就是为什么这种方法被称为联邦学习。

纵向联邦学习能够利用样本分散于多个参与方的多样化特征来建立一个健壮的共享模型。但与横向联邦学习中所有参与方共享一个共有模型不同，在纵向联邦学习体系中，每个参与方都拥有与其特征相关联的共享模型的一部分。因此，纵向联邦学习中各参与方彼此间有更紧密的共生关系。对于分散在参与方的模型各部分的训练，也通常需要按照纵向联邦学习算法所给出的特定计算顺序来执行。换言之，参远方之间的计算具有依赖关系，从而需要频繁地互动以交换模型训练中间结果。

因此，纵向联邦学习的训练很容易受到通信故障的影响，从而需要可靠并且高效的通信机制。在物理距离比较长的参与方之间传输模型训练中间结果是比较耗时的。长时间的数据传输会降低计算资源利用的效率，因为参与方必须等待必要的训练中间结果才能开始或继续本方的训练。为了解决这个问题，我们可能需要设计一种流式的通信机制，可以高效地安排每个参与方进行训练和通信的时机，以抵消数据传输的延迟。同时，对于能够容忍在纵向联邦学习过程中发生崩溃的容错机制，也是我们实现纵向联邦学习系统所必须考虑的细节。

目前，大部分防止信息泄露或者对抗恶意攻击的研究都是针对横向联邦学习的场景。由于纵向联邦学习通常需要参与方之间进行更紧密和直接的交互，因此需要灵活高效的安全协议，以满足每一方的安全需求。之前的研究工作已经证明，只有具备针对性的安全工具，才能让不同的计算种类达到最优效果，例如混淆电路可以高效地进行比较计算，而秘密共享和同态加密可以提供高效的算术运算。我们可能需要探索一种在安全技术上的混合策略，为模型计算的每一个环节实现局部的最优性能。此外，高效的基于隐私保护的实体对齐技术也是一个值得探索的方向，因为它是纵向联邦学习中必不可少的一环。