联邦学习简介

原题:What is Federated Learning?
原文:LINK
作者:ODSC - Open Data Science


联邦学习(Federated Learning,FL)是由Google AI在2017年的一篇博客Federated Learning: Collaborative Machine Learning without Centralized Training Data中首次介绍的,同时还有一篇现在具有开创性的研究论文,该论文通过深入讨论名为Federated Optimization: Distributed Machine Learning for On-Device Intelligence (2016)的新方法,为联邦学习奠定了基础。在短短几年内,这种新方法取得了长足的进步。本文介绍了联邦学习的优势,挑战以及最近的进展。


Federated Learning in a Nutshell

传统的机器学习的架构是使用一个中央服务器(本地或云)来托管训练好的模型,以便进行预测。这种架构的缺点是,本地设备和传感器收集的所有数据都被发送回中央服务器进行处理,然后返回到设备。这种往返限制了模型实时学习的能力。

相比之下,联邦学习是一种下载当前模型并使用本地数据在设备本身计算更新模型的方法(ala edge computing)。然后,将这些本地训练的模型从设备发送回中央服务器,在那里对它们进行聚合,即平均权重,然后将单个合并和改进的全局模型发送回设备。
在这里插入图片描述
Your phone personalizes the model locally, based on your usage (A). Many users’ updates are aggregated (B) to form a consensus change (C) to the shared model, after which the procedure is repeated.

在更一般的意义上,FL允许机器学习算法从位于不同位置的广泛数据集获得经验。这种方法使多个组织能够协作开发模型,但不需要彼此直接共享安全数据。在几个培训迭代的过程中,共享模型接触到的数据范围比任何单个组织内部拥有的都要大得多。换句话说,FL通过消除将数据集中到一个位置的需要来分散机器学习。相反,模型是在不同位置的多次迭代中训练的。

Google描述了FL在手机端的工作方式:设备下载当前的模型,通过手机上的数据中学习来改进它,然后将这些变化总结为一个小的集中更新。使用加密通信将更新后的模型发送到云服务器中,在那里它与其他用户上传的更新后的模型进行平均(权重),以改进共享模型。所有训练数据都保留在你的设备上,没有单独的更新存储在云服务器中。


Benefits

以下是联邦机器学习的一些主要好处:

  • FL使手机等设备能够协作学习共享预测模型,同时将训练数据保留在设备上,而不是上传并存储在中央服务器上。
  • 实现模型训练的边缘化,即智能手机、平板电脑、物联网等设备,甚至医院等需要在严格隐私限制下运营的“组织”。让个人数据保持在本地是一项强大的安全优势。
  • 使实时预测成为可能,因为预测过程运行在本地设备上。FL减少了由于将原始数据传输回中央服务器,然后将结果发送回设备而产生的时间延迟。
  • 由于模型保存在本地设备上,即使没有网络,也不影响预测过程运行。
  • FL减少了所需硬件基础设施的数量。FL使用最少的硬件,移动设备中可用的硬件足以运行FL模型。

Challenges

FL面临许多挑战。首先,通信是FL网络中的一个关键瓶颈。在FL网络中,每个设备上生成的数据都保持在本地,迭代地发送小的模型更新作为训练过程的一部分,为了使用由网络中的设备生成的数据来训练模型,高效的通信方法减少通信次数是非常有必要的。

此外,FL方法必须能够预测设备参与度较低的情况,即只有一小部分设备同时处于活动状态;容忍影响联邦网络中每个设备的存储、计算和通信能力的硬件可变性;并且能够处理网络中丢弃的设备。

最后,FL通过共享模型更新(如梯度数据而不是原始数据)来帮助保护设备上生成的数据。但是,在整个培训过程中传输模型更新仍然会向第三方或中央服务器透露敏感信息。


Recent Advances in Federate Learning

在高度互联的世界中,FL对机器学习来说至关重要,这项技术已经成为一个丰富的研究领域。例如,FL框架的简单实现要求每台设备每一轮都向中央服务器发送一个完整的模型(或完整的模型更新)。对于较大的模型,由于互联网连接速度不对称(例如上传速度比下载速度慢)等因素,这一步可能会造成瓶颈。Federated Learning: Strategies for Improving Communication Efficiency(2017) 等研究了可以降低上行链路通信成本的方法。

此外,许多研究团队正致力于审查FL的独特特点和挑战,为当前的方法提供详细的视角,并评估与一系列应用领域相关的未来工作方向。卡内基梅隆大学的一组研究人员最近的一篇论文 Federated Learning: Challenges, Methods, and Future Directions(2019) 明确了FL是一个活跃和正在进行的研究领域,并对最近的工作进行了广泛的总结。

还有一篇论文描述了一个可扩展的移动设备FL生产系统,Towards Federated Learning at Scale: System Design(2019),其中包括最终的高级设计、新挑战和解决方案概述,以及一些具有未来方向的开放问题。

以下是一些新的可用FL资源:

©️2020 CSDN 皮肤主题: Age of Ai 设计师:meimeiellie 返回首页