​CVPR 2024 | 迁移预训练生成模型中的知识到边缘小模型

©PaperWeekly 原创 · 作者 | 张剑清

单位 | 上海交通大学、清华大学（AIR）

研究方向 | 联邦学习

本文介绍的是我们的一篇收录于 CVPR 2024 的论文。为了解决某个机构或边缘设备上数据缺乏的问题，一方面我们通过联邦学习获得来自所有参与设备的任务相关的共享知识；另一方面我们将该共享知识作为预训练生成模型（如 Stable Diffusion）的输入来生成任务相关的全局数据；最后我们将生成的数据传输到机构或边缘设备上并通过额外的有监督学习任务，将该全局数据注入到边缘模型中。

我们称这一过程为“知识迁移链路（KTL）”，并在每一轮联邦学习过程中进行一次知识迁移。此过程中生成模型只作推理不做训练，这种利用预训练模型的方式对资源的需求较少。

论文标题：

An Upload-Efficient Scheme for Transferring Knowledge From a Server-Side Pre-trained Generator to Clients in Heterogeneous Federated Learning

论文链接：

https://arxiv.org/abs/2403.15760

代码链接：

https://github.com/TsingZ0/FedKTL（含有PPT和Poster）

运行实验所需仓库-个性化联邦学习算法库：

https://github.com/TsingZ0/PFLlib

运行实验所需仓库-异构联邦学习算法库：

https://github.com/TsingZ0/HtFLlib

动机

随着新一轮 AI 时代的到来，模型的量级越来越大，对数据的需求也越来越大。不论是哪个领域，有效且高质量的数据一直是一种稀缺存在，甚至成为了一种数据资产。与此同时，互联网上也广泛存在着能力强劲的开源生成模型。如果能够利用这些生成模型中存储的知识，来生成具体任务所需的数据，便可以让小公司和边缘智能设备都能享受到大模型带来的丰富成果。

为了解决数据稀缺问题，有以下四种常见途径：

1. 利用来自公开数据集的数据，但这类数据很难做到与具体任务相关，且任务无关数据甚至会产生负面影响；

2. 由数据请求方上传数据生成需求࿰