【FederatedLearning】联邦学习类别详述(横向、纵向、迁移)
联邦学习(Federated Learning, a.k.a. Federated Machine Learning)可以分为三类:
横向联邦学习(Horizontal Federated Learning),纵向联邦学习(Vertical Federated Learning),迁移联邦学习(Federated Transfer Learning)
对于一个数据表格来说,通常一行代表一个样本,纵向的一列代表的是一个数据特征。
横向联邦就是每个client的数据特征相同,用户不同,是对样本数量的扩充
纵向联邦就是用户相同,但是数据特征不同,是对样本数据特征的扩充
横向联邦学习
基于特征对齐的联邦学习。通俗的讲,就是特征就是那么多特征,只是用户不同,以此来扩充样本数量。
定义:两组样本ID重叠较少,但是这两组样本的特征是重叠很多的,举个例子就是两家不同地区银行,他们的客户是不同的,但是客户的数据的特征类别是相同的,
纵向联邦学习
用户ID重叠较多,但是特征重叠少,通俗的讲,就是用户是一批用户,但是他们的特征是不同的。
也称为样本对齐的联邦学习,只是使得特征维度增多而已。
联邦迁移学习
当参与者间特征和样本重叠都很少时可以考虑使用联邦迁移学习,如不同地区的银行和商超间的联合。主要适用于以深度神经网络为基模型的场景。
利用数据、任务、或模型之间的相似性,将在源领域学习过的模型,应用于 目标领域的一种学习过程。
通俗的讲,就是“举一反三”,“照猫画虎”。
总结
这里的横向和纵向指的是对数据的划分。
横向联邦学习是对数据按行划分,每一行一个样本。不同行的数据有相同的数据特征,即数据特征是对齐的。
纵向联邦学习是对数据按列划分,每一列一个特征。不同列的数据有相同的样本ID,即训练样本是对齐的。