人大、微软等提出InclusiveFL：异构设备上的包容性联邦学习

关注公众号，发现CV技术之美

本篇分享论文『No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices』，由中国人民大学、微软、清华以及索尼联合提出 InclusiveFL，一种异构设备上的包容性联邦学习方法，解决丢弃客户端引起的信息缺失以及不公平问题、以及使用小模型则往往因为模型表征能力有限从而导致全局模型预测性能低下问题。

详细信息如下：

• 论文地址：https://arxiv.org/abs/2202.08036

      01      

背景与概述

问题引入：联邦学习以隐私保护的方式从分散数据中训练全局模型，是一种机器学习范式。联邦学习基于多客户端-服务器架构，并基于一个基本的假设，即所有客户机都有足够的本地资源来训练具有相同架构的模型。但是如下图1所示，在现实世界中，客户端的设备通常是异构的，它们的计算能力和内存大小可能具有显著差异。在实际应用中，由于设备硬件不同导致不同的客户端具有不同的计算能力，因此类似于BERT这种复杂模型难以应用于弱计算能力的客户端。

以往方法：简单的解决方案，例如通过删除弱计算能力的客户端，或使用小模型来适应所有客户端。但是丢弃客户端会导致信息缺失以及不公平问题，使用小模型则往往因为模型表征能力有限从而导致全局模型预测性能低下，即全局模型的性能会被客户端上的模型体系结构所限制。

本文方法：因此，一种直观的方法是在具有强大计算能力客户端上训练较大的本地模型，在弱客户端上训练较小的本地模型。作者提出InclusiveFL框架，即包容性联邦学习方法，其核心思想是分配不同大小（复杂度）的模型给具有不同计算能力的客户端设备，例如为计算能力强的客户端分配大的模型，为弱客户端分配较小的模型。同时，由于不同模型之间可能存在知识不协调问题，作者还提出一种在不同大小的多个局部模型之间共享知识的有效方法。从而达到一种“因材施教”的效果，充分利用了所有不同计算能力的客户端设备参与到联邦学习训练中去。此外，作者提出了一种动量知识蒸馏方法，更好地将强客户大模型的知识迁移到弱客户小模型上，从而进一步提升模型性能。

本文贡献：