- 博客(7)
- 收藏
- 关注
RSS订阅原创 论文笔记 ROBUST PRUNING AT INITIALIZATION
这篇论文的主要贡献和创新点是：论文的核心思想和方法是：论文的优缺点和未来工作是：
2023-04-13 16:58:02
1158
2
原创 论文笔记 LOOKAHEAD: A FAR-SIGHTED ALTERNATIVE OFMAGNITUDE-BASED PRUNING
基于大小的剪枝是最简单的神经网络剪枝方法之一。基于观察到基于幅度的剪枝确实最小化了对应于单层的线性算子的Frobenius范数失真，我们通过将单层优化扩展到多层优化，开发了一种简单的剪枝方法，称为超前剪枝。
2023-03-22 16:01:33
144
1
原创 论文笔记 Pruning neural networks without any databy iteratively conserving synaptic flow
修剪神经网络的参数可以在训练和测试期间节省时间、内存和能量。最近的研究发现，通过一系列昂贵的训练和修剪周期，初始化时存在中奖彩票或稀疏可训练的子网络。这就提出一个基本问题：我们能否在初始化时识别出高度稀疏的可训练的子网络，而不需要训练，或者实际上不需要查看数据。答案是肯定的，该文章首先在数学上制定并实验验证了一个守恒定律，该定律解释了为什么现有的基于梯度的修剪算法在初始化时会出现层塌，整个层的过早修剪使网络不可训练。该理论还阐明了如何完全避免层塌，激发了一种新的剪枝算法迭代突触流剪枝（SynFlow)。该算
2023-03-20 21:29:10
478
1
原创 论文笔记 DEEP COMPRESSION: COMPRESSING DEEP NEURALNETWORKS WITH PRUNING, TRAINED QUANTIZATIONAND HUFFM
深度压缩是一个三级阶段的管道：修剪、训练过的量化、和霍夫曼编码。该方法首先通过只学习重要的连接来修剪网络，然后对权重进行量化，实现权重共享，最后采用霍夫曼编码。在前两步之后，我们重新训练网络来微调剩余的连接和量化的质心。该方法有助于在应用程序大小和下载带宽受限的移动应用程序中使用神经网络。
2023-03-20 09:42:12
98
原创 论文笔记 Grasp（梯度信号）
对于给定的简直比例p，我们可以通过一次计算剪枝条件，并对其进行排序，然后去除权重的前p%来得到最终的剪枝掩码。粗略的说，Grasp考虑了剪枝后梯度流的变化，而SNIP只保留剪枝后的损失，这可能不会保持梯度流。由于文章只关心修剪网络的性能，因此目标是保留甚至增加修剪后的梯度流（即修剪网络的梯度流）。黑森矩阵H捕获每个权重之间的相关性，从而调节修剪对剩余权重的影响，当H为恒等时，上述判断依据恢复SNIP到绝对值（回想SNIP判据为。是负的，那么去掉相应的权重会减少梯度流动，否则不会。二、原文部分培养代码展示。
2023-03-19 15:39:57
262
1
原创 论文笔记 -SNIP 基于灵敏度的单次网络剪枝
与一式相比，我们将网络中可学习参数的数量增加了一倍，直接优化二式更加困难，由于我们已经将连接的权重（w）与连接是否存在（c）分开，我们可能通过测量每个连接对损失函数的影响来确定每个连接的重要性。由于网络在训练前修剪一次，因此不需要预训练和复杂的修剪计划，没有额外的超参数，一旦修剪，稀疏网络的训练是按照标准的方式进行的。基于连接灵敏度的显著性标准，该标准为给定任务识别网络中结构上重要的连接，这消除了预训练和复杂的修剪计划的需要，同时使其对架构变化具有健壮性。的无穷小变化的变化率。表示所需的非零权重的数量。
2023-03-17 19:01:44
502
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人