【联邦学习】实验思路分析01

觅与山奈

已于 2024-11-01 20:01:19 修改

阅读量626

点赞数 15

分类专栏：联邦学习文章标签： 1024程序员节计算机视觉深度学习

于 2024-10-24 23:54:53 首次发布

本文链接：https://blog.csdn.net/qq_74225552/article/details/141859097

版权

联邦学习专栏收录该内容

2 篇文章

订阅专栏

FedDrive|实验思路梳理

《FedDrive: Generalizing Federated Learning to Semantic Segmentation in Autonomous Driving》
原文链接： https://arxiv.org/abs/2202.13670

前言

本文仅对《FedDrive: Generalizing Federated Learning to Semantic Segmentation in Autonomous Driving》中的实验思路进行简单梳理，供实验设计和实施提供参考，暂不涉及具体的实现算法细节和理论知识总结，学习中。

以下是本篇文章正文内容，供参考。

1. 研究背景

1.1 语义分割

在自动驾驶领域，语义分割使得自动驾驶车辆能够通过识别和理解周围环境的每个像素来实现安全导航。然而，训练这些模型需要大量的数据，这些数据往往涉及用户隐私，如何在保护用户隐私的同时利用这些数据进行模型训练成为了一个挑战。

1.2 联邦学习

联邦学习（Federated Learning, FL）作为一种保护用户隐私的解决方案，允许在不共享原始数据的情况下，使用分散在多个客户端的数据共同训练一个全局模型。

*FedDrive提出了一个新的基准，旨在解决联邦场景下自动驾驶中的语义分割问题，同时考虑了统计异质性和领域泛化。

统计异质性（Addressing Statistical Heterogeneity）是指不同客户端的数据分布可能存在显著差异。例如，不同地理位置的车辆所收集的图像可能包含不同的天气条件或景观类型。这种异质性对联邦学习算法的收敛速度和模型性能有负面影响。
领域泛化（Domain Generalization, DG）关注模型在未见过的新领域上的泛化能力。在自动驾驶的应用中，模型需要能够在各种不同的环境条件下表现良好，包括不同的城市、不同的天气等。

2. 实验方法

2.1 针对统计异质性

FedAvg：联邦学习中的标准算法，通过在服务器端聚合客户端的更新来学习全局模型。FedAvg将用作基线。

但面对非独立同分布（non-iid）数据时，FedAvg的收敛性能和速度通常会下降。引入服务器端动量，以及优化器，以处理FedAvg缺乏适配性的模型聚合。对于服务器端优化器。实验将对SGD，FedAvgM，Adam和AdaGrad进行分析。

批归一化域适应，SiloBN 和 FedBN，通过学习特定领域的批处理归一化（Batch Normalization,BN）统计来处理统计异质性。SiloBN将所有BN统计数据严格保持在本地，并利用自适应批处理归一化在测试时处理新域；而FedBN引入了本地BN层。FedBN和 SiloBN都将用作基线。

BN层的主要缺点是假设训练和测试数据来自相同的分布，本地BN层在本地更新，但从不在服务器端共享和聚合，从而产生个性化的参数。使用AdaBN，处理测试时的新客户端和域，重新计算新测试域的BN统计数据，同时冻结服务器模型的所有其他参数。

2.2 针对领域泛化

风格迁移方法，如CFSI（连续频率空间插值）和LAB（基于LAB颜色空间的图像转换），通过修改图像本身来提高模型在不同领域上的泛化能力。基本思想是在客户端之间共享分布信息，以克服分散数据集的局限性。

连续频率空间插值（Continuous Frequency Space Interpolation，CFSI）：使用频率的连续插值来将多源分布传输到每个本地客户端，将每个客户端映像插值到每个域分布中。

由于需要大量的计算，在具有多个领域的现实设置中不可行。因此只对一半的客户端数据应用CFSI转换，并从共享分布库中随机抽取一个目标。

基于LAB颜色空间的图像转换（LAB-based Image Translation，LAB）：在本地客户端之间共享分布信息，创建一个共享分布库记录客户端的每个图像的在LAB颜色空间中转换的均值和标准差。

由于需要大量的计算，只用一半的客户端数据。

3. 实验设置

实验的主要目的是验证FedDrive基准在自动驾驶领域的语义分割任务中对联邦学习算法的挑战，特别是在统计异质性和领域泛化方面的挑战。
总结模拟现实场景的多个实验设置

表一：FedDrive实验设置总结

3.1 数据集

Cityscapes：包含在50个天气条件良好的不同城市的街道上拍摄的真实照片，用于模拟现实世界的城市驾驶场景。该数据集包含2975张用于训练的图像和500张用于测试的图像，为19个语义类提供了注释。
IDDA：一个用于模拟自动驾驶车辆在不同环境下的语义分割任务的合成数据集，提供注释16语义类与各种各样的驾驶条件，包含三个轴：7个城镇（从城市到农村环境），5个视点（模拟不同的车辆），和3种天气条件（中午、日落和降雨场景）总共105个域。

3.2 数据集划分

模型性能

均匀分布 (iid): 数据随机分配给客户端，不考虑数据的来源。
异质分布 (non-iid): 数据根据来源城市或条件分配给客户端，模拟现实世界中的统计异质性。

泛化能力

可见测试 (Seen): 测试集中包含与训练集相似的数据分布。
不可见测试 (Unseen): 测试集包含训练过程中未出现过的数据分布。

3.3 模型

BiSeNet V2是一个轻量级的网络，专为实时语义分割设计。它包含两个主要分支，一个用于捕获空间特征，另一个用于捕获高层语义上下文。
双边网络结构有助于模型在保持计算效率的同时，获取丰富的特征信息，适合在资源受限的设备上运行。
在实验中，BiSeNet V2作为基础模型，用于测试不同联邦学习算法的性能。

4. 实验结果

4.1 Cityscapes 数据集结果

Cityscapes 数据集结果

表二：Cityscapes 结果

在均匀分布下，FedAvg表现良好，但在异质分布下性能下降。
SiloBN在处理语义变化时效果有限。
而风格迁移方法（特别是LAB）在处理外观变化时提高了性能。

4.2 IDDA 数据集结果

IDDA 数据集结果

表三：IDDA 结果

在异质分布下，FedAvg在未见过的领域上性能显著下降。
SiloBN在处理外观变化（如雨天）时表现出色，但在处理语义变化（如乡村）时提升有限。
风格迁移方法在不同设置下均提高了性能。

4.3 服务器优化器消融实验

对不同的服务器端优化器进行比较，以评估它们在联邦学习环境中的表现。服务器优化器在IDDA上的比较

表四：服务器优化器在IDDA上的比较

具体的优化器包括：
SGD：使用固定的学习率，无动量。
FedAvgM：FedAvg的变种，应用了服务器端动量来加速模型的收敛。
Adam：一种自适应学习率优化算法，结合了动量和自适应梯度。
AdaGrad：另一种自适应学习率优化算法，适用于稀疏数据。

实验结果：在IDDA数据集上的实验结果显示，FedAvgM优化器在不同的实验设置中，相比于其他优化器，无论是在统一分布（iid）还是异质分布（non-iid），都能够提高mIoU（平均交并比）性能指标，异质分布性能提升较低。FedAvgM在处理领域偏移时尤其有效，这表明动量方法有助于模型在面对异质分布（non-iid）数据时的收敛和性能。

5. 结论

FedDrive基准能够有效地评估联邦学习算法在自动驾驶领域的语义分割任务中的性能，我们提出了一组现实的场景来研究跨客户端的异构域分布的影响，考虑到风格和语义变化带来的约束。实验表明，结合SiloBN和LAB可以在处理不同类型的领域偏移时提高性能，减轻了在面对不同类型的域转移时遇到的问题。这些发现为未来在联邦学习中处理统计异质性和领域泛化问题提供了有价值的见解。