READ-2310 Byzantine-Robust Distributed Learning Towards Optimal Statistical Rates

READ-2310 Byzantine-Robust Distributed Learning Towards Optimal Statistical Rates

论文名称	Byzantine-Robust Distributed Learning Towards Optimal Statistical Rates
作者	Dong Yin, Yudong Chen, Ramchandran Kannan, Peter Bartlett
来源	ICML 2018
领域	Machine Learning - Federal learning - Security - Byzantine attack
问题	针对拜占庭攻击，已有研究难以指出健壮性学习算法的最佳统计性能。尚无研究指出在拜占庭稳健的同时，什么是最佳的可实现统计性能，以及什么算法可以实现这种性能
方法	提出基于中位数和修剪平均运算的分布式梯度下降算法，并分析了两种健壮聚合方法的最优统计误
创新	对算法的收敛性和最佳性能进行全面的证明

---

阅读记录

聚合方法

（1）Coordinate-wise median：对于模型每一维度的参数，选择所有客户端对应参数的中值
（2）Coordinate-wise trimmed mean： 移除最大和最小的β个元素后，对剩下参数进行平均

---

总结

这篇文章是较早提出对抗拜占庭攻击进行防御的文章，在后续的新方法中已证明其无法较好的防御一些较强的投毒攻击。但是相比后续一些新文章，它对算法的收敛性和最佳性能进行了全面的证明，值得借鉴学习。