模型压缩
文章平均质量分 81
深蓝-
这个作者很懒,什么都没留下…
展开
-
Stochastic Model Pruning via Weight Dropping Away and Back
摘要深度神经网络已经在各种具有挑战性的任务中取得了巨大的成功。然而,大多数成功的dnn都具有极其复杂的结构,导致了对模型压缩的广泛研究。传统的渐进性剪枝方法是模型压缩研究的一个重要领域,它涉及到迭代剪枝再训练过程,可能存在两个关键问题:局部重要性判断,剪枝权值在当前模型中仅仅是不重要的;以及一个不可挽回的修剪过程,修剪后的权重没有机会再回来。针对这两个问题,本文提出了Drop Pruning方法,该方法利用剪枝过程中的随机优化,在每个剪枝步骤引入一个Drop策略,即Drop away,随机删除一些不重要的原创 2021-10-02 11:30:11 · 142 阅读 · 0 评论 -
CCPrune
摘要由于计算量巨大,深度卷积神经网络难以部署在资源受限的设备上。通道剪枝是减少计算量、加速网络推理的有效方法。大多数信道修剪方法使用来自稀疏网络的单个结构(卷积层或批量归一化层)的统计来评估信道的重要性。这些方法的局限性在于,它可能经常错误地删除重要的频道。有鉴于此,我们提出了一种结合卷积层权重和BN层比例因子的信道重要性评估方法——协同信道剪枝。该方法首先分别引入卷积层权重和BN层比例因子的正则化。然后结合卷积层的权重和BN层的比例因子来评估信道的重要性。最后,它可以删除不重要的通道,而不会降低模型的性原创 2021-09-29 10:57:31 · 177 阅读 · 0 评论 -
HRCP·
摘要近年来,深度学习算法在目标检测任务中表现出显著的性能,并已应用于智能网络车辆和无人机等许多领域。与视频监控等其他领域不同,智能联网车辆和无人机领域只有资源有限的平台,对模型存储和实时推理的要求很高。为了满足这些要求,开发了模型压缩方法来减少模型参数和计算。由于通道剪枝是一种粗粒度的硬件友好的权重剪枝方法,因此被广泛应用于模型压缩。大多数研究只集中在利用批量归一化(BN)层的比例因子来确定是否修剪某个通道。然而,当移位因子的值很大时,它变得非常重要。移位因子大的信道对后续层影响很大。在本文中,我们考虑了原创 2021-09-29 10:48:43 · 576 阅读 · 0 评论