【联邦学习】自用论文阅读--A Survey on Federated Learning for Resource-Constrained IoT Devices

摘要

本文的调查目标是 如何在资源受限的物联网设备上进行机器学习模型的构建，首先探索现有使用IoT设备进行分布式实现的相关假设的FL研究，并探讨缺点；然后讨论将 FL 应用于物联网环境时的实施挑战和问题，并对问题的陈述及新出现的挑战进行了全面调查，特别是在异构物联网环境中应用 FL 期间；最后指出 FL 与资源受限物联网环境结合的研究方向。

1 介绍

描述一下研究动机

本文的其余部分组织如下。在第二节中，我们介绍了 FL 的概述和分类以及现有研究的完整列表。在第三节中，我们回顾了分布式优化和 ML 方法。第四节详细分析了 FL 在资源受限设备上应用时面临的主要挑战，随后是第五节，我们讨论了这些新兴挑战的潜在解决方案。之后，在第六节中，我们介绍了现有的 FL 应用，在第七节中，我们强调了基于 FL 的物联网领域的未来研究方向。最后，在第八节中，我们结束了我们的文章。

2 现有FL的概述和分类

A）联邦学习的定义

B）联邦学习的系统

联邦学习的系统可以根据数据样本、通信、预测模型、隐私和参与动机进行分类。本文对以上的分类进行了适当的展示。

$$图1基于FL的系统分类$$
1）划分样本：在设计FL模型的时候，需要利用数据特征以及非重复的实例来分析数据的分布情况。我们可以将FL划分成：a) 水平FL；b）垂直FL；c）基于分布在网络上的数据样本以及其特征空间的混合FL

a) 水平或基于样本的 FL 具有不同的数据样本，但它们共享相同的特征空间。两个边缘设备具有一些相似应用程序产生的数据样本，并且每个边缘设备具有相同的特征空间。

b）在垂直或基于特征的 FL 中，数据集共享不同的样本空间，但样本 ID 相同。

c）联邦迁移学习（FTL）

2）机器学习模型：为了提高大规模 FLS 中的模型精度并弥补 FLS 与最先进的 ML 模型之间的差距，有必要利用 ML 架构来获得更好的 FL 训练。

3）联邦规模：a）cross-device；b）cross-silo

C）现有基于 FL 的研究总结

3 分布式学习和优化算法

A）FL
1）FedAvg
2）LGD
3）FedProx
4）q-FedAvg

B）分布式学习
C）分布式和联邦优化

4 学习资源受限的设备

A）通信受限
B）硬件异构
C）有限的内存和能量
D）同步or异步？
E）DNN的节能训练
F）联邦学习的公平性
G）联邦学习的可扩展性
H）隐私问题

5 在资源受限的物联网设备上部署联邦学习算法面临的新挑战的潜在解决方案

A）通过部署现有算法来减少通信次数
B）异步FL的收敛
C）统计异质性的量化
D）数据清洗和处理虚假数据
E）减少能源消耗和设备上的训练
F）管理边缘设备的退出
G）隐私保护

6 联邦学习的应用

A）资源充足的联邦学习应用
B）资源受限的联邦学习应用

7 资源受限物联网设备的联邦学习算法的未来方向

8 结论