“彩票假设”破解彩票核心奥秘?道翰天琼认知智能机器人平台API接口大脑为您揭秘。

“彩票假设”破解彩票核心奥秘?道翰天琼认知智能机器人平台API接口大脑为您揭秘。

 

 

在人们互相交流和信息传递的过程中，「隐喻」的作用极其重要。在1970年之前，当人们提起「桌面」这个单词，联想到的还都是放满了锅碗瓢勺的桌子。但是当天才计算机大师Alan Kay在 Xerox PARC 实验室设计了现代的 GUI 交互界面之后，桌面这个词可能更多的指代的就是配备各种图形化操作系统的电脑桌面了。

 

近年来，在深度学习领域，人们将一个新的具有广阔前景的研究领域隐喻为「彩票假说」（LTH）。在本文中，我们会深入探讨该假设，并回顾 Frankle 和 Carbin 在 ICLR 2019 上发表的那篇风光无限的最佳论文《THE LOTTERY TICKET HYPOTHESIS: FINDING SPARSE, TRAINABLE NEURAL NETWORKS》。
1
深度学习模型剪枝 对过参数化的神经网络进行剪枝是深度学习领域中经久不衰的问题。其中，最常见的方法是将某些特定的权值设置为零，并且在随后的训练过程中冻结它们（不进行训练）。这种思想比较朴素，实现也很简单，只要将权值 W 和一个二元剪枝掩模 M 按对应元素相乘即可。进行这种干预的动机如下：

• 通过对过参数化的函数进行正则化处理，使剪枝后的模型具有较强的泛化能力。
• 能够找出原本庞大网络中性能优越的小型子网络（现有存储条件可满足），从而减少模型前向推理时的内存需求。
• 减少了模型所需的算力、耗电量、存储和延迟等需求，从而使其能够在移动设备部署。

近年来，随着网络模型的深度越来越深，以上三个问题逐渐受到了人们越来越大的关注。一般来说，优秀的网络剪枝算法必须解决以下 4 个基本问题：问题 1：应该剪掉怎样的连通结构？非结构化修剪不考虑剪枝的权值之间的任何关系。另一方面，结构化剪枝则是通过去除整个神经元（权值列）、删除卷积神经网络的卷积核或通道等方式对一组权值进行剪枝。尽管非结构化的剪枝方法往往能在保持较高性能的同时剪掉数量更多的权值，但是这种方法并不一定会真正加速在标准硬件上的计算过程。实际上，这里的关键原因在于密集的计算可以很容易被并行化处理；而剪枝后的网络通常过于「分散」，难以实现并行计算。除了从结构化角度来对剪枝算法进行分类，我们还能够从局部和全局剪枝的角度进行另一种分类。其中，局部剪枝方法会强制从网络的每一层剪掉一定比例的权值参数。而全局剪枝就没有这个要求了，它只需要将整个网络中 s% 的权重参数剪掉即可。    图 2：深度学习网络剪枝要考虑的因素：剪掉哪些部分、如何剪枝、何时剪枝、剪枝频率如何