一种通用的异步纵向联邦学习架构（VAFL: a Method of Vertical Asynchronous Federated Learning）

VAFL: a Method of Vertical Asynchronous Federated Learning

论文传送门：

https://arxiv.org/pdf/2007.06081.pdf

摘要：

本文旨在以异步方式解决垂直 FL，并开发了一种简单的 FL 方法。新方法允许每个客户端运行随机梯度算法而无需与其他客户端协调，因此适用于客户端的间歇性连接。该方法进一步使用了一种新的扰动局部嵌入技术来保证数据隐私并提高通信效率。

问题定义：

假设有M个client，N的数据集大小，被不同端持有不同的特征，在公共的纵向联邦学习框架中，需要学习一个embedding，将数据维度映射到一个公共的维度上。整个系统需要优化的东西是：

流程如下图所示：

算法：

单步的异步算法

t步异步算法

实验：

个人理解：

这篇论文的主要贡献在于，将原有的横向联邦学习的异步算法引入纵向联邦学习场景中。我们知道，横向联邦学习各自基于本地进行建模，再在中间节点进行汇总更新，这样引申出效率的问题，因为如果所有参与方同步梯度信息后，由中间节点更新，由于可能发生宕机或延迟，导致更新效率不高，所以出现了异步横向算法及其效率改进。这篇文章将该异步算法引入到纵向联邦学习场景中，但由于纵向参与方数量较少，该延迟的问题并不突出；并且设计的通用方法过于简单，仅限简单神经网和罗辑回归算法，例如纵向常用的树模型就难以应用。