稀疏学习：从人脑得到灵感，让深度学习突破算力限制

大数据文摘出品

来源：timdettmers

编译：张秋玥、Luciana、钱天培

深度学习的重要推动力是计算力的进步。

从2010年到2018年，GPU性能提高了97倍。但是，由于我们几乎已达到了半导体技术的物理极限，可以预计，在未来5-8年内GPU性能的提升仅会略高于80％。

在无法进一步提高计算能力的情况下，我们还能进行什么样的研究呢？

一种可行的研究方向是，从人脑中寻找灵感。

人类大脑消耗的能量是GPU的十分之一，但强度要高出10 ^ 9倍。是什么让大脑如此高效？

原因有很多，而其中一个就是是稀疏性。

研究已经发现，灵长类生物大脑中的神经元越多，平均下来每个神经元与其他神经元的连接就越少（来自Herculano-Houzel等人的研究，2010）。这与我们设计深度神经网络的方式恰恰相反。深度神经网络更倾向于将每一层中的每个新神经元都与前一层中的所有神经元连接起来。

我们已经知道如何将一个完全训练好的稠密网络压缩到稀疏网络，但是，让一个网络在训练期间始终保持稀疏却很少被研究。

我们如何才能做到这一点的呢？今天，我们就要介绍ELMo作者Luke Zettlemoyer的最新研究，稀疏动量——一种训练稀疏网络的有效方法。

优秀的稀疏学习算法长什么样？

在稀疏学习中，最重要的是尽可能有效地使用神经网络中的每一个权重。如果将“有效性”定义为“减少误差”，那么我们的下一步就很明确了。我们需要找到能够一个指标——它应当能够衡量一个权重减少误差的效果，并删除所有并不能减少误差的权重。一旦移除了权重，就可以在我们认为有望减少未来误差的位置重新生成新的权重。

如果只是关注关于权重的误差梯度，