【2024 CVPR】联邦学习+提示学习：DiPrompT论文阅读笔记

DiPrompT: Disentangled Prompt Tuning for Multiple Latent Domain Generalization in Federated Learning

论文网址：[2403.08506] DiPrompT: Disentangled Prompt Tuning for Multiple Latent Domain Generalization in Federated Learning (arxiv.org)中文翻译：联邦学习中多个潜在域泛化的分离提示调优

一、摘要

联邦学习 (FL) 已成为从分散数据中学习的强大范式，联邦域泛化进一步考虑分散训练数据（源域）中不存在测试数据集（目标域）。然而，大多数现有的 FL 方法都假设在训练期间提供域标签，并且它们的评估对域的数量施加了明确的约束，必须严格匹配客户端的数量。由于现实世界中大量边缘设备的利用不足和额外的跨客户端域注释，这种限制可能不切实际，并涉及潜在的隐私泄露。在本文中，我们提出了一种高效且新颖的方法，称为解开提示调整 (DiPrompT)，这是一种通过学习自适应提示以分布式方式进行域泛化来解决上述限制的方法。具体来说，我们首先设计了两种类型的提示，即全局提示来捕获所有客户端和域提示的一般知识，以捕获特定领域的知识。它们消除了对源域和目标域之间的一对一映射的限制。此外，引入了动态查询度量来自动搜索每个样本的合适域标签，其中包括基于提示调优的两步文本图像对齐，无需劳动密集型注释。在多个数据集上的广泛实验表明，当没有提供域标签时，我们的 DiPrompT 比最先进的 FL 方法实现了卓越的域泛化性能，甚至优于许多使用域标签的集中式学习方法。

一、论文动机

在联邦学习中，随着客户端数量的增加，来自源域的数据被分散到各个客户端之间，从而产生仅限于某些客户端并变得特定的知识。在图 1(a) 中，对于马类，所有客户端的唯一一般事物是形状。然而，某些客户端的某些特定知识具有与目标域更小的特征距离（例如，