模型训练 准确率下降_模型剪枝，不可忽视的推断效率提升方法

选自TowardsDataScience

作者：Ranjeet Singh机器之心编译参与：路剪枝是常用的模型压缩方法之一，本文对剪枝的原理、效果进行了简单介绍。

目前，深度学习模型需要大量算力、内存和电量。当我们需要执行实时推断、在设备端运行模型、在计算资源有限的情况下运行浏览器时，这就是瓶颈。能耗是人们对于当前深度学习模型的主要担忧。而解决这一问题的方法之一是提高推断效率。

大模型 => 更多内存引用 => 更多能耗

剪枝正是提高推断效率的方法之一，它可以高效生成规模更小、内存利用率更高、能耗更低、推断速度更快、推断准确率损失最小的模型，此类技术还包括权重共享和量化。深度学习从神经科学中汲取过灵感，而剪枝同样受到生物学的启发。

随着深度学习的发展，当前最优的模型准确率越来越高，但这一进步伴随的是成本的增加。本文将对此进行讨论。

挑战 1：模型规模越来越大

我们很难通过无线更新(over-the-air update)分布大模型。

来自 Bill Dally 在 NIPS 2016 workshop on Efficient Methods for Deep Neural Networks 的演讲。