Federated Feature Augmentation and Alignment

TPAMI2025，说是解决特征偏移问题，但从实验看其他数据异构也一并改善了。文章和题目一样干了特征增强和特征对齐两件事。特征增强部分套了两次高斯拟合，搞得很复杂，没法一句话说清楚。特征对齐部分是截断成直方图，然后双向KL散度。

论文：目前好像只有ieee能搜到
代码：只找到ICLR2023的会议版本

贡献

1. FedFA+算法：我们解决基于异构 FL 的问题探索特征统计。首先，我们引入了 FedFA-l来降低局部数据集偏差的影响。它基于低阶特征统计的原则性概率建模，有助于更广泛地探索特征空间。其次，我们提出了 FedFA-h，它能够强化通过明确调整高阶特征统计数据，确保客户端之间增强特征的一致性。
2. 理论分析：我们提供严格的理论分析FedFA-l 的分析表明，它通过规范潜在表示的梯度，隐式地将正则化引入局部模型学习，并通过从整个联合中得出的特征统计方差进行加权。
3. 实验分析：通过对五个基准测试中，我们展示了 FedFA+ 在以下方面的优势：（i）对不同类型异质性的鲁棒性，
   （ii）对新的（未见过的）测试客户端的推广，
   （iii）处理极小的本地数据集和数千个客户端。
   标签异构、特征异构、多客户端少样本、

动机

在先前的研究中发现，一阶/二阶特征统计量能够囊括关键的领域感知特征，因此可以将其视为“参与联邦的客户的特征”。作者认为联邦学习中的特征偏移问题可以解释为这些低阶特征统计量的偏移，而不论偏移的来源是什么。联想到可以通过多元高斯分布对增强过程进行建模。均值设置为原始统计量，方差为覆盖潜在的分布偏移，则可以从高斯分布中抽取样本合成新的统计量。重点就是这个高斯分布要怎么取。
如果仅依赖于低阶统计量，这限制了其充分捕捉高维特征表示复杂性的能力。此外，它只专注于在特征空间内促进探索，而没有明确解决域对齐问题。需要估计一个涵盖所有客户端的全局高阶特征统计量，该统计量作为每个客户端都需要与之对齐的目标分布。

算法-FedFA${}^l$

概率一阶/二阶统计建模：

FedFA${}^l$ 属于标签保持特征增强的范畴。在训练过程中，它为每个客户端 $m$ 的每个卷积层 $h^k$ 估计一个邻近分布 ${\mathbb{V}}_m^k$，随后用于增强相应的潜在特征。

将 $X_m^k\in {\mathbb{R}}^{B\times C\times H\times W}$ 表示为 $B$ 个mini-batch图像的中间特征表示，空间大小为 $(H\times W)$，通道数为 $C$，$Y_m^k$ 为相应的标签。${\mathbb{V}}_m^k$ 是标签保持的，因为 ${\mathbb{V}}_m^k({\hat{X}}_m^k,{\hat{Y}}_m^k|X_m^k,Y_m^k)\triangleq {\mathbb{V}}_m^k({\hat{X}}_m^k|X_m^k)\delta ({\hat{Y}}_m^k=Y_m^k)$，即它仅转换潜在特征 $X_m^k$ 到 ${\hat{X}}_m^k$，但标签 $Y_m^k$ 保持不变。

我们的方法不是显式建模 ${\mathbb{V}}_m^k({\hat{X}}_m^k|X_m^k)$，而是通过操控通道特征统计来进行隐式特征增强。具体来说，对于 $X_m^k$，其通道的一阶/二阶统计量，即均值 ${\mu }_m^k$ 和标准差 ${\sigma }_m^k$，计算如下：

$${\mu }_m^k=\frac{1}{HW}\sum _{h=1}^H\sum _{w=1}^W{X}_m^k(h,w)\in {\mathbb{R}}^{B\times C},{\sigma }_m^k=\sqrt{\frac{1}{HW}\sum _{h=1}^H\sum _{w=1}^W(X_m^k(h,w)-{\mu }_m^k{)}^2}\in {\mathbb{R}}^{B\times C},$$

其中 $X_m^k(h,w)\in {\mathbb{R}}^{B\times C}$ 表示空间位置 $(h,w)$ 的特征。作为潜在特征的抽象，这些统计量携带领域特定的信息（例如，风格），并且对于图像生成至关重要。它们最近也被用于数据增强以提高图像识别能力。

在异构的联邦学习场景中，本地客户端之间的特征统计将不一致，并表现出未知的特征统计从真实分布的统计中偏移。我们的方法通过概率建模明确捕捉这种偏移。具体来说，我们不是用确定性统计 { μ m k , σ m k } \{\mu_m^k, \sigma_m^k\} { μmk​,σmk​} 来表示每个特征 $X_m^k$，而是假设该特征基于概率统计 { μ ^ m k , σ ^ m k } \{\hat{\mu}_m^k, \hat{\sigma}_m^k\} { μ^​mk​,σ^mk​} 进行条件化，这些统计是从原始统计的邻近区域采样的，基于多变量高斯分布：

$${\hat{\mu }}_m^k\sim \mathcal{N}\left({\mu }_m^k,{\hat{\Sigma }}_{{\mu }_m^k}^2\right),{\hat{\sigma }}_m^k\sim \mathcal{N}\left({\sigma }_m^k,{\hat{\Sigma }}_{{\sigma }_m^k}^2\right).$$

这里，每个高斯分布的中心对应于原始统计，而方差则期望捕捉从真实分布的潜在特征统计偏移。我们的核心目标是估计适当的方差 ${\hat{\Sigma }}_{{\mu }_m^k}^2$ 和 ${\hat{\Sigma }}_{{\sigma }_m^k}^2$，以便于进行合理且信息丰富的增强。

我们的方法通过三个主要步骤实现这一点：(i) 客户端特定的统计方差估计，确定每个客户端内的局部方差；(ii) 客户端共享的统计方差估计，确定整个联邦的全局方差；(iii) 自适应方差融合，结合局部和全局方差以产生更有意义的估计。

客户端特定的统计方差估计：

在客户端一侧，我们根据每个mini-batch中的信息计算特征统计的客户端特定方差：

$${\Sigma }_{{\mu }_m^k}^2=\frac{1}{B}\sum _{b=1}^B({\mu }_m^{k,(b)}-{\mathbb{E}}_B[{\mu }_m^k]{)}^2\in {\mathbb{R}}^C,{\Sigma }_{{\sigma }_m^k}^2=\frac{1}{B}\sum _{b=1}^B({\sigma }_m^{k,(b)}-{\mathbb{E}}_B[{\sigma }_m^k]{)}^2\in {\mathbb{R}}^C,$$
其中，${\mu }_m^{k,(b)}\in {\mathbb{R}}^C$ 和 ${\sigma }_m^{k,(b)}\in {\mathbb{R}}^C$ 分别表示第 $b$ 个图像的特征均值和标准差。${\mathbb{E}}_B[\cdot ]$ 计算沿批次维度的期望值。${\Sigma }_{{\mu }_m^k}^2$ 和 ${\Sigma }_{{\sigma }_m^k}^2$ 表示特定于每个客户端的特征均值 ${\mu }_m^k$ 和标准差 ${\sigma }_m^k$ 的方差。${\Sigma }_{{\mu }_m^k}^2$ 或 ${\Sigma }_{{\sigma }_m}$