7. 联邦学习研究方向汇总 (Federated Machine Learning Research directions)

Federated Machine Learning Research directions

 

1. Model Aggregation 模型聚合

Model Aggregation (or Model Fusion) refers to how to combine local models into a shared global model.

模型聚合(或模型融合)指的是如何将局部模型组合成共享的全局模型。

 

2. Personalization 个性化

个性化联邦学习是指根据客户端自己的数据集和其他客户端的数据集，为每个客户端单独训练一个模型。

个性化联邦学习有两个主要动机：

• 由于客户端的统计异质性，单一的全局模型对于所有客户端都不是一个好的选择。有时，仅在私有数据上训练的本地模型比全局共享模型表现更好。
• 不同的客户需要针对自己的环境专门定制模型。 As an example of model heterogeneity, consider the sentence: “I live in …”. The next-word prediction task applied on this sentence needs to predict a different answer customized for each user. Different clients may assign different labels to the same data.

 

3. Recommender system 推荐系统

推荐系统(RecSys) 被广泛应用于解决信息过载问题。一般来说，RecSys 使用的数据越多，推荐性能就越好。

传统上，RecSys 需要将分布在多个设备上的数据上传到中央服务器用于模型训练。然而，出于隐私和安全考虑，这种直接共享用户数据的策略已经不再适用。

联邦学习和RecSys的结合是一种很有前途的方法，可以降低隐私泄漏的风险。

 

4. Security 安全

4.1 Attack 攻

• Backdoor Attack
• Gradients Attack
• Model Poison Attack

4.2 Defense 防

• FL+差分隐私
• FL+同态加密
• FL+可信任的执行环境

 

5. Efficiency 效率

• Communication-Based: 通过减少模型参数传输来提高效率。
• Hardware-Based: 通过硬件加速提高效率。(GPU, FPGA, etc.)
• Algorithm-Based: 通过加快模型收敛速度来提高效率。(local training, model aggregation, client selection, etc.)

 

6. Optimization 优化

​ 在联邦学习中，优化（Optimization）旨在解决联邦学习中的模型优化问题，包括全局模型的更新、局部模型的聚合以及通信和计算的开销等。

 

7. Fairness 公平

​ 联邦学习（Federated Learning）与公平性（Fairness）的结合，旨在在联邦学习过程中考虑和解决数据隐私和公平性的问题。公平性在机器学习和人工智能中非常重要，涉及到在算法和模型设计中对不同群体的公平待遇和公正结果进行考虑和保护，避免潜在的歧视和不公平现象。

​ 在联邦学习中，由于参与者之间可能存在数据分布的差异、数据采样偏差以及数据不平衡等问题，导致模型在不同参与者之间可能出现公平性问题。

• Performance Fairness
• Client Selection Fairness
• Contribution Fairness

 

8. Applications 应用

• Computer Vision
• Nature Language Processing
• Automatic Speech Recognition 自动语音识别
• Healthcare 医疗
• Blockchain

 

9. Boosting 提升模型

​ 将Boosting技术应用于联邦学习中，旨在改进联邦学习的性能和效果。

​ Boosting是一种集成学习（ensemble learning）方法，通过组合多个弱学习器（weak learner），例如决策树、支持向量机等，从而生成一个强学习器（strong learner）。联邦学习 Boosting方法可以通过在联邦学习框架中引入Boosting技术，从而增强联邦学习的学习能力和泛化性能。

 

10. Incentive mechanism 激励机制

​ 在联邦学习中，激励机制（Incentive mechanism）是一种设计参与者之间的经济和非经济激励，以促使其积极参与联邦学习任务并共享其数据和模型更新的方法。联邦学习中的参与者通常是分布式的、自治的实体，例如移动设备、边缘服务器或数据中心，他们具有自主权来决定是否参与联邦学习任务。因此，设计合适的激励机制对于促使参与者合作并贡献其数据和模型更新至关重要。

Typically, the incentive mechanism consists of the following two steps:

• How to evaluate the contribution of each participant (Shapley value)
• How to allocate profits based on contributions

 

11. Unsupervised Learning 无监督学习

​ 联邦学习和无监督学习是两种不同的机器学习方法，但可以在一些场景中结合使用。

​ 无监督学习（Unsupervised Learning）是一种机器学习方法，其中模型从未标记的数据中进行学习，目标是从数据中自动发现模式、结构或特征，而不需要先验的标签或类别信息。无监督学习通常用于聚类、降维、异常检测等任务。

​ 在一些场景中，联邦学习可以结合无监督学习方法来处理数据隐私和分布式数据的问题。例如，可以使用联邦学习框架来让参与者在本地进行无监督学习，从而在不暴露数据隐私的情况下学习到数据的特征或结构，并将学到的特征或结构用于后续的联邦学习任务，如模型训练、数据聚合等。这种联邦学习结合无监督学习的方法可以在保护数据隐私的同时，提升模型的性能和效果。

​ 一些联邦学习和无监督学习的结合方法包括联邦聚类（Federated Clustering）、联邦降维（Federated Dimensionality Reduction）、联邦生成对抗网络（Federated Generative Adversarial Networks，FedGANs）等。这些方法将无监督学习的技术引入联邦学习框架，以解决联邦学习中的数据隐私和分布式数据的问题，并在一些应用场景中取得了一定的研究进展。

 

12. Heterogeneity 异构性

• Data Heterogeneity (NON-IID)
• Model Heterogeneity
• Device Heterogeneity

 

13. Client Selection 客户端选择

​ 联邦学习中的客户端选择（Client Selection）是指在联邦学习过程中如何选择合适的参与者（客户端）来参与模型训练和更新。合理的客户端选择对于联邦学习的性能和效果具有重要影响。

 

14. Graph Neural Networks 图神经网络

​ 联邦学习与图神经网络（Graph Neural Networks，简称GNNs）的结合，是指将图神经网络应用于联邦学习中，以处理联邦学习中涉及图结构的数据或任务。

​ 联邦学习与图神经网络的结合可以应用于多种联邦学习场景，如社交网络、交通网络、生物网络等，均是涉及到图结构的数据或任务。一些常见的联邦学习应用场景包括图节点分类、图边预测、图生成等。

 

15. Other Machine Learning Paradigm 其他机器学习范式

​ 联邦学习作为一种分布式机器学习方法，可以与其他机器学习范式进行结合，以解决联邦学习中的特定问题或扩展其应用范围。以下是一些联邦学习与其他机器学习范式结合的示例：

• 联邦学习与迁移学习（Federated Transfer Learning）
• 联邦学习与半监督学习（Federated Semi-Supervised Learning）
• 联邦学习与增量学习（Federated Incremental Learning）
• 联邦学习与强化学习（Federated Reinforcement Learning）
• 联邦学习与生成对抗网络（Federated Generative Adversarial Networks）

 

16. Trade off 权衡

Privacy, utility, and efficiency are the three key concepts of trustworthy federated learning. We point out that there is no security mechanism that can achieve optimality in terms of privacy leakage, utility loss, and efficiency loss simultaneously.

 

17. 参考

Awesome Federated Machine Learning

chatGPT