SynFlow：通过迭代保留突触流，无需任何数据即可剪枝神经网络

论文“Synaptic Flow” 摘要

这篇论文探讨了神经网络的“剪枝”技术，即在训练之前就对神经网络进行结构简化，以减少计算量和存储空间。

论文的主要内容：

• 目标: 通过在训练前进行剪枝，找到一个稀疏的、可训练的子网络，以实现与原始网络相当的性能，同时减少模型大小和计算量。
• 现有方法: 传统的剪枝方法通常是在训练完成后进行，先训练一个大的网络，然后对其进行剪枝。
• 论文提出的方法: 该论文提出了一种新的剪枝方法，称为“Synaptic Flow”，它能够在训练前对网络进行剪枝，并避免“层坍塌”问题。
• 优势:
• 效率: 与传统方法相比，该方法能够在训练前进行剪枝，避免了反复训练和剪枝的过程，提高了效率。
• 性能: 该方法能够找到一个稀疏的子网络，其性能与原始网络相当。
• 应用: 该方法能够将大型神经网络压缩成更小的模型，使其能够在资源有限的设备上运行，例如移动设备。

论文的核心思想:

• 通过保留一个称为“Synaptic Flow”的量来进行剪枝，该量能够衡量网络中信息流的强度。
• 通过对网络进行剪枝，以确保“Synaptic Flow”保持不变。

论文的意义:

• 为神经网络的剪枝技术提供了一种新的思路，该方法能够在训练前进行剪枝，并避免“层坍塌”问题。
• 为构建更小、更快、更节能的神经网络提供了新的可能性。

总结:

这篇论文提出了一个新的神经网络剪枝方法，称为“Synaptic Flow”。该方法能够在训练前进行剪枝，并避免“层坍塌”问题，从而构建更小、更快、更节能的神经网络。

彩票票证假设表明，理论上可以在训练开始时修剪神经网络，仍然可以获得良好的性能，如果我们知道要修剪哪些权重。本文不仅解释了其他修剪尝试失败的原因，而且提供了一种算法，该算法可以证明达到最大压缩能力，所有这些都不需要查看任何数据！概要：0:00 - 简介和概述1:00 - 修剪神经网络3:40 - 彩票票证假设6:00 - 论文故事概述9:45 - 层崩溃18:15 - 突触显著性守恒23:25 - 连接层崩溃和显著性守恒28:30 - 迭代修剪避免层崩溃33:20 - SynFlow 算法40:45 - 实验43:35 - 结论和评论论文：https://arxiv.org/abs/2006.05467代码：https://github.com/ganguli-lab/Synaptic-Flow
摘要：修剪深度神经网络的参数引起了人们的极大兴趣，因为在训练和测试时都可能节省时间、内存和能量。最近的研究通过一系列昂贵的训练和修剪周期，确定了在初始化时存在获胜彩票或稀疏可训练子网络。这提出了一个基本问题：我们可以在初始化时识别高度稀疏的可训练子网络，而无需任何训练，甚至无需查看数据？我们通过理论驱动的算法设计对此问题给出了肯定的答案。我们首先用数学公式描述并通过实验验证了一条守恒定律，该定律解释了为什么现有的基于梯度的修剪算法在初始化时会遭受层崩溃，即过早修剪整个层，导致网络无法训练。该理论还阐明了如何完全避免层崩溃，从而激发了一种新的修剪算法迭代突触流修剪（SynFlow）。该算法可以解释为在初始化时保持网络中突触强度的总流量，同时受限于稀疏性约束。值得注意的是，该算法没有参考训练数据，并且在各种模型（VGG 和 ResNet）、数据集（CIFAR-10/100 和 Tiny ImageNet）和稀疏性约束（高达 99.9%）上，始终优于现有的最先进的初始化修剪算法。因此，我们数据无关的修剪算法挑战了现有的范式，即必须使用数据来量化哪些突触是重要的。