【论文导读】LEAF: A Benchmark for Federated Settings

LEAF: A Benchmark for Federated Settings（NeurIPS 2019）

Leaf地址 https://leaf.cmu.edu/

Abstract

现代社会中，可穿戴等边缘设备每天能产生海量数据。这些丰富的数据可以帮助学习可以改善每个设备上的模型。但是这些大规模异构性数据对联邦学习、元学习、多任务学习等研究提出新的挑战。为了更好地应对这些挑战，我们提出了LEAF，这是一个用于在联邦设置中学习的模块化基准测试框架。LEAF包括一组开源联合数据集，严格的评估框架和一组参考实现，所有这些都旨在捕获实际联合环境的障碍和复杂性。

Introduction

联邦环境中的设备会产生巨量的数据， 但是学习利用这些数据会引入一些新的障碍：
数据的异构性；
联邦学习场景通常比典型的分布式节点数量大，每个设备在存储、计算和通信能力方面可能具有显著的约束，由于硬件，网络连接和电源的可变性，这些容量也可能在设备之间有所不同；
隐私安全和效率准确性之间的权衡
很多相关工作在尝试解决这些问题，但是效果不是很好，出现一些新的问题，接着介绍了FL中经常使用的三类相关数据集：公共数据集；现实但专有的联邦场景数据集；现实的联邦数据集从公开可用的数据派生的，但并不容易重现
接着介绍元学习和多任务学习（不展开写）
本文旨在缩小用于基准测试的人工数据集与那些实际捕获联合场景特征的数据集之间的差距，但到目前为止，这些数据集要么是专有的，要么是难以处理的。此外，提出了一种用于评估和再现结果的清晰方法：LEAF，这是一个模块化的基准测试框架，旨在从远程设备的大规模分布式联合网络中进行学习。

LEAF

LEAF是联邦设置的一个开源基准。由 (1) 一组开源数据集，(2) 统计和系统度量的数组，以及 (3) 一组参考实现组成。LEAF的模块化设计使这三个组件可以轻松地合并到各种实验管道中

“数据集” 模块对数据进行预处理，并将其转换为标准化格式，该格式可以集成到任意ML管道中；参考实现” 模块是联邦设置中使用的通用方法的不断增长的存储库，每个实现都产生各种不同统计和系统指标的日志；然后，可以通过LEAF的 “度量” 模块以各种方式使用以适当格式生成的任何日志来汇总和分析这些度量。

数据集

还有一个合成数据集

评估指标

参考实现

为了促进可重复性，LEAF还包含一组针对联合场景的算法的参考实现。目前，该集合仅限于联合学习范例，尤其包括minibatch SGD，FedAvg和Mocha的参考实现。

LEAF in action

LEAF的三个特征：可重复性、提供粒度度量、模块化

总结

介绍了LEAF，这是一个用于在联邦环境中学习的模块化框架，或以大规模分布式设备网络为标志的生态系统。适用于此类设置的学习范例包括联合学习，元学习，多任务学习和设备上学习。

文章中倒是没有讲什么东西，主要还是这个benchmark，要仔细研究一下这个基准还有它的代码。