【ASPLOS '19】Hop: Heterogeneity-aware Decentralized Training

[ASPLOS '19] Hop: Heterogeneity-aware Decentralized Training

最近的工作表明，在机器学习的环境中，分散式算法可以提供优于集中式算法的性能。这两种方法的主要区别在于它们独特的通信模式，这两种方法都易于在异构环境中降低性能。尽管已经做出了巨大努力来支持针对异构性的集中式算法，但是关于该问题的分散式算法却鲜有研究。本文提出了Hop，这是第一个了解异构性的分散式训练协议。基于我们已经确定的分散式训练的独特特征，即迭代间隙，我们提出了一种基于队列的同步机制，该机制可以在分散式环境中有效地实现备份工作人员和有限的陈旧性。为了应对确定性的速度下降，我们建议跳过迭代，以便进一步减轻速度较慢的工作人员的影响。我们在TensorFlow上构建Hop的原型实现。 CNN和SVM上的实验结果表明，在异构环境中，与标准的分散式训练相比，速度有了显着提高。