在分布式环境下利用“彩票假说”进行模型压缩的方法 The Lottery Ticket Hypothesis: Finding Sparse, Trainable

作者：禅与计算机程序设计艺术

1.简介

2019年5月，Facebook AI研究院发布了一项著名的论文“The Lottery Ticket Hypothesis”，本文通过证明神经网络中存在一个稀疏的、可训练的子集，而这个子集可以将网络从测试误差最小化到最低水平上升，达到学习到网络结构、权重和参数并保持其稳定性的目的，因此被称为“彩票假说”。该假说认为存在着一些神经网络的“小票”，即某些参数在训练过程中始终不更新，导致训练得到的模型具有很高的准确率但非常不健壮。因此，利用这些小票可以训练出特定的神经网络，并提取出稠密、可训练的权重。然而，如何找到这些小票却是一个复杂的问题。
2020年7月，Google Research团队也做出了相似的发现，于是两位研究者联合发表了这篇论文，试图更进一步证明这一观点。一方面，他们从理论上分析了神经网络学习过程中的稀疏性和可训练性问题；另一方面，他们还系统地验证了“彩票假说”的正确性和证据。这篇论文被认为是神经网络研究领域的里程碑式成果之一。
本文的作者们——Cornell University计算机科学系的Emery Araya教授、斯坦福大学的Susan J. Chung教授和Michigan大学的Julian Tittel教授以及他们的同事——详细阐述了“彩票假说”及其相关理论和实践问题。他们试图从理论上理解神经网络训练中参数的稀疏性和可训练性对最终性能的影响，并提出了一种有效的剪枝方法，找寻神经网络中可训练的参数子集。他们还讨论了分布式训练（distributed training）对稀疏性和可训练性的影响，并给出了在分布式环境下利用“彩票假说”进行模型压缩的方法。最后，他们提出了今后“彩票假说”研究方向的展望。
在阅读本文之前，读者需要具备机器学习基础知识，包括神经网