【论文】【CwMed】Byzantine-Robust Distributed Learning: Towards Optimal Statistical Rates

Byzantine-Robust Distributed Learning: Towards Optimal Statistical Rates

摘要：

1、提出一个分布式优化算法健壮性和最佳性能的证明方式；
2、基于证明方式提出了两种满足鲁棒性的分布式梯度下降算法（基于中位数或基于修剪后的平均操作）；
3、为增强通信效率，提出一个基于中位数的仅使用一轮通信的分布式算法，并证明了其鲁棒性，并证明在强凸二次损失中，该算法与鲁棒分布式梯度下降算法具有相同的最优错误率。

背景介绍：

1、1982年Lamport提出Byzantine failure，拜占庭错误可能会导致学习性能的严重下降；
2、开发一个分布式统计学习算法并证明对拜占庭错误的健壮性–健壮学习算法的最优统计性能；
3、问题：什么是最好的统计性能？如何设计一个算法实现这个性能？
4、一个经验风险最小化(Empirical risk minimization)的标准统计设置，nm个数据独立且均匀地分布在m个节点上，拜占庭节点比例为a（也就是拜占庭节点数 a*m个），目标是最小化由数据定义的损失函数来学习参数模型，预估随着数据nm变大，拜占庭机器比例a变小，参数模型的误差应该会减少（也就是误差与数据量成反比，与拜占庭节点数成反比）；