Group Knowledge Transfer: Federated Learning of Large CNNs at the Edge部分阅读

Group Knowledge Transfer: Federated Learning of Large CNNs at the Edge

组知识转移:边缘大型cnn的联合学习

Abstract

通过扩大卷积神经网络（CNN）的大小（例如，宽度，深度等）可以有效地提高模型的准确性。但是，较大的模型尺寸阻碍了在资源受限的边缘设备上进行训练。例如，尽管联邦学习的隐私和机密性使其有很强的实际需求，但却可能会给边缘节点的计算能力带来不适当的负担。为了解决边缘设备资源受限，我们将FL重新构造为名叫FedGKT的组知识转移训练算法。 FedGKT设计了一种交替最小化方法变体，可以在边缘节点上训练小型CNN，并通过知识提炼定期将其知识转移到大型服务器端CNN。 FedGKT将多个优势整合到一个框架中：减少了对边缘计算的需求，降低了大型CNN的通信带宽，并进行了异步训练，所有这些都保持了与FedAvg相当的模型准确性。我们使用三个不同的数据集（CIFAR-10，CIFAR-100和CINIC-10）及其非独立同分布抽样变体，训练基于ResNet-56和ResNet-110设计的CNN。我们的结果表明，与FedAvg相比，FedGKT可以获得与之相当甚至更高的准确性。更重要的是，FedGKT使边缘训练能够负担得起。与使用FedAvg进行边缘训练相比，FedGKT在边缘设备上的计算能力（FLOPs）减少了9到17倍，并且在边缘CNN中需要的参数减少了54到105倍。我们的源代码是 在FedML发布 &#