Group Knowledge Transfer: Federated Learning of Large CNNs at the Edge部分阅读

最新推荐文章于 2023-03-28 09:56:49 发布

面爪爪

最新推荐文章于 2023-03-28 09:56:49 发布

阅读量511

点赞数

分类专栏：学习记录文章标签：深度学习

本文链接：https://blog.csdn.net/weixin_43752953/article/details/115306469

版权

FedGKT是为了解决资源受限的边缘设备上训练大型CNN的挑战而提出的联邦学习框架。它结合了FedAvg的本地SGD和SL的模型并行，通过交替最小化方法在边缘设备上训练小型CNN，并定期将知识转移到服务器端的大型CNN。FedGKT减少了边缘设备的计算需求，降低了通信带宽，并实现了异步训练，同时保持模型准确性。在CIFAR-10、CIFAR-100和CINIC-10数据集上的实验表明，FedGKT相比FedAvg在计算资源和通信效率上有显著优势。

摘要由CSDN通过智能技术生成

Group Knowledge Transfer: Federated Learning of Large CNNs at the Edge

组知识转移:边缘大型cnn的联合学习

Abstract

通过扩大卷积神经网络（CNN）的大小（例如，宽度，深度等）可以有效地提高模型的准确性。但是，较大的模型尺寸阻碍了在资源受限的边缘设备上进行训练。例如，尽管联邦学习的隐私和机密性使其有很强的实际需求，但却可能会给边缘节点的计算能力带来不适当的负担。为了解决边缘设备资源受限，我们将FL重新构造为名叫FedGKT的组知识转移训练算法。 FedGKT设计了一种交替最小化方法变体，可以在边缘节点上训练小型CNN，并通过知识提炼定期将其知识转移到大型服务器端CNN。 FedGKT将多个优势整合到一个框架中：减少了对边缘计算的需求，降低了大型CNN的通信带宽，并进行了异步训练，所有这些都保持了与FedAvg相当的模型准确性。我们使用三个不同的数据集（CIFAR-10，CIFAR-100和CINIC-10）及其非独立同分布抽样变体，训练基于ResNet-56和ResNet-110设计的CNN。我们的结果表明，与FedAvg相比，FedGKT可以获得与之相当甚至更高的准确性。更重要的是，FedGKT使边缘训练能够负担得起。与使用FedAvg进行边缘训练相比，FedGKT在边缘设备上的计算能力（FLOPs）减少了9到17倍，并且在边缘CNN中需要的参数减少了54到105倍。我们的源代码是在FedML发布 &#